Chociaż większość funkcji AI w internecie działa na serwerach, AI po stronie klienta działa bezpośrednio w przeglądarce użytkownika. Daje to wiele korzyści, w tym niskie opóźnienia, zmniejszone koszty po stronie serwera, brak wymagań dotyczących klucza API, większą prywatność użytkowników i możliwość korzystania z aplikacji offline. Możesz wdrażać AI po stronie klienta, które działa w różnych przeglądarkach z bibliotekami JavaScript, takimi jak TensorFlow.js, Transformers.js i MediaPipe GenAI.
AI po stronie klienta powoduje też problemy ze skutecznością: użytkownicy muszą pobierać więcej plików, a ich przeglądarka musi pracować intensywniej. Aby dobrze działać, rozważ te kwestie:
- Przypadek użycia. Czy sztuczna inteligencja po stronie klienta jest odpowiednim rozwiązaniem dla Twojej funkcji? Czy Twoja funkcja znajduje się na kluczowej ścieżce użytkownika? Jeśli tak, czy masz alternatywne rozwiązanie?
- Sprawdzone metody pobierania i używania modeli. Więcej informacji na ten temat znajduje się poniżej.
Przed pobraniem modelu
Biblioteka Mind i rozmiar modelu
Aby wdrożyć AI po stronie klienta, potrzebujesz modelu i zwykle biblioteki. Wybierając bibliotekę, oszacuj jej rozmiar tak samo jak w przypadku każdego innego narzędzia.
Liczy się też rozmiar modelu. To, co jest uważane za duże w przypadku modelu AI, zależy od wielu czynników. 5 MB może być przydatną regułą: jest to też 75. percentyl średniego rozmiaru strony internetowej. Mniej restrykcyjny limit to 10 MB.
Oto kilka ważnych kwestii związanych z rozmiarem modelu:
- Wiele modeli AI do określonych zadań może być naprawdę niewielkich. Model BudouX, który służy do dokładnego dzielenia znaków w językach azjatyckich, zajmuje tylko 9,4 KB w formacie GZ. Model wykrywania języka MediaPipe ma rozmiar 315 KB.
- Nawet modele widzenia mogą mieć rozsądny rozmiar. Model Handpose i wszystkie powiązane z nim zasoby zajmują łącznie 13,4 MB. Chociaż jest to znacznie więcej niż większość zminiaturyzowanych pakietów interfejsu, to jest to porównywalne do przeciętnej strony internetowej, która ma 2,2 MB (2,6 MB na komputerze).
- Modele generatywnej AI mogą przekraczać zalecany rozmiar zasobów internetowych. DistilBERT, który jest uważany za bardzo małą LLM lub prosty model NLP (opinie są różne), ma rozmiar 67 MB. Nawet małe modele LLM, takie jak Gemma 2B, mogą zajmować 1,3 GB. Jest to ponad 100 razy więcej niż średni rozmiar strony internetowej.
Dokładny rozmiar pobierania modeli, których zamierzasz używać, możesz sprawdzić za pomocą narzędzi dla programistów w przeglądarce.