Maud Nalpas
雖然網站上的大部分 AI 功能都需要伺服器，但用戶端 AI 會直接在使用者的瀏覽器中執行。這項做法具有許多優點，包括低延遲、降低伺服器端成本、無需 API 金鑰、提升使用者隱私權，以及離線存取。您可以使用 JavaScript 程式庫 (例如 TensorFlow.js、Transformers.js 和 MediaPipe GenAI) 實作跨瀏覽器運作的用戶端 AI。
用戶端 AI 也帶來了效能問題：使用者必須下載更多檔案，瀏覽器也必須更努力運作。如要讓這項功能順利運作，請考慮：
- 適用情境。客戶端 AI 是否適合您的功能？您的功能是否屬於關鍵使用者歷程？如果是，您是否有備用方案？
- 模型下載和使用最佳做法。請參閱下文的說明。
下載模型前
心靈資料庫和模型大小
如要實作用戶端 AI，您需要模型和通常的程式庫。選擇圖書館時，請評估其大小，就像評估其他工具一樣。
模型大小也很重要。什麼樣的 AI 模型才算大，取決於情況。5 MB 可做為實用經驗法則：這也是網頁大小中位數的 75 百分位。較寬鬆的數字則是 10 MB。
以下是關於模型大小的幾項重要考量：
- 許多專門用於特定任務的 AI 模型都非常小。針對亞洲語言提供準確字元斷字的 BudouX 等模型，經過壓縮後僅 9.4 KB。MediaPipe 的語言偵測模型大小為 315 KB。
- 視覺模型的大小也可以適當。手勢模型和所有相關資源的總大小為 13.4 MB。雖然這個大小遠大於大多數經過精簡的前端套件，但與中位網頁大小相近，後者為 2.2MB (電腦版為 2.6MB)。
- 生成式 AI 模型的大小可能超過網頁資源的建議大小。DistilBERT 被視為非常小的 LLM 或簡單的 NLP 模型 (意見不一)，大小為 67 MB。即使是小型 LLM (例如 Gemma 2B)，也可能達到 1.3 GB。這個大小是平均網頁大小的 100 倍以上。
您可以使用瀏覽器的開發人員工具，評估要使用的模型的確切下載大小。