Maud Nalpas
虽然网络上的大多数 AI 功能都依赖于服务器，但客户端 AI 会直接在用户的浏览器中运行。这具有诸多优势，包括延迟时间短、服务器端费用降低、无需 API 密钥、增强用户隐私保护和支持离线访问。您可以使用 TensorFlow.js、Transformers.js 和 MediaPipe GenAI 等 JavaScript 库实现可在不同浏览器中运行的客户端 AI。
客户端 AI 还会带来性能方面的问题：用户必须下载更多文件，浏览器也必须更努力地工作。为了让其正常运行，请考虑以下事项：
- 您的使用情形。客户端 AI 是否适合您的功能？您的功能是否位于关键用户历程中？如果是，您是否有后备方案？
- 有关模型下载和使用方面的良好做法。请继续阅读本文以了解详细信息。
模型下载前
Mind 库和模型大小
如需实现客户端 AI，您需要一个模型，通常还需要一个库。选择库时，请像评估任何其他工具一样评估其大小。
模型大小也很重要。什么是大型 AI 模型取决于具体情况。5MB 是一个实用的经验法则：它也是网页大小中位数的第 75 百分位数。更宽松的数字是 10MB。
以下是关于模型大小的一些重要注意事项：
- 许多特定于任务的 AI 模型可能非常小。BudouX 等用于准确分割亚洲语言字符的模型经过 GZIP 压缩后只有 9.4KB。MediaPipe 的语言检测模型为 315KB。
- 即使是视觉模型，也可以控制在合理的大小。Handpose 模型和所有相关资源总计 13.4MB。虽然这比大多数缩减后的前端软件包大得多，但与中位数网页（2.2MB，桌面版为 2.6MB）相当。
- 生成式 AI 模型可能会超出网站资源的推荐大小。DistilBERT 被认为是一个非常小的 LLM 或一个简单的 NLP 模型（观点各异），其大小为 67MB。即使是小型 LLM（例如 Gemma 2B），也可能达到 1.3GB。这比中位数网页的大小大 100 倍以上。
您可以使用浏览器的开发者工具评估您计划使用的模型的确切下载大小。