DatabricksでLLMとエージェントを検索する

Databricksは、大規模言語モデル（LLM）、基盤モデル、およびデプロイ済みエージェントを照会するための複数の方法を提供します。ワークフローに応じて、対話型 UI、 SQL 、 REST APIs 、またはクライアント ライブラリを選択します。

AI Playground​

AI Playground 、LLM のプロンプトと比較を行うためのDatabricksワークスペース内のノーコード チャット環境です。 これを使用して、プロンプトを体験したり、温度や最大アセトンなどのチューニングを調整したり、コードに移る前にツール呼び出しエージェントと質問応答ボットを並べてプロトタイプ化したりできます。

基盤モデル​

Unity AI Gateway は、Databricks が管理するトークン単位の従量課金基盤モデルを統合 API を介して提供し、インフラストラクチャへのコミットメントなしですぐに使用できます。ニーズに合ったモデルサービスの種類を選択してください:

• system.ai のシステム提供モデルサービス — Unity Catalog の事前構成済みモデルサービス。開始に最適です。
• カスタムモデルサービス ：複数のモデルに負荷を分散したり、フォールバックを設定したりするために、独自のモデルサービスを作成します。高度なガバナンスと大規模運用に最適です。

クエリエージェント​

エージェントを構築してデプロイしたら、アプリケーションからエージェントにクエリを実行します。エージェントはDatabricks AppsまたはMosaic AI Model Servingエンドポイント上でホストできます。 Databricksは3つのクエリ方法をサポートしています。

• Databricks OpenAI Client ― ネイティブストリーミングとフル機能サポートを備え、新規アプリケーションに推奨されます。
• OpenAI互換のREST API ― 言語に依存せず、OpenAI APIに対応しているあらゆるプラットフォームで動作します。
• ai_query — SQL から Model Serving エンドポイントでホストされているレガシー エージェントにクエリを実行します。

AI関数を使用したデータの拡充​

AI Functions 、 Databricksに格納されているデータに LLM およびその他のモデルを適用する組み込みSQL関数です。 これらをDatabricks SQL 、ノートブック、 LakeFlow Spark宣言型パイプライン、またはワークフローから実行して、サポート チケットの分類、ドキュメントからのエンティティの抽出、コンテンツの要約、バッチ スケールでのテキストの翻訳を行います。

2種類の機能スタイルから選択してください。

• ai_classify 、 ai_extract 、 ai_parse_documentなどの タスク固有の関数は 単一タスク用に最適化されており、 Databricksが管理する研究に裏付けられたシステムを使用します。
• ai_query は汎用関数です。独自のプロンプトを指定し、サポートされている任意の基盤モデルを選択してください。使用法ai_queryを参照してください。

エンドツーエンドの例については、 AI Functionsを使用した顧客レビューの分析」を参照してください。