Gemini 関数呼び出し
WARNING: どうやら、Gemini Pro は関数名を正しく処理できなくなりました。並列関数呼び出しもなくなりました。
関数呼び出しを使用すると、開発者はコード内に関数の記述を作成し、その記述をリクエスト内の言語モデルに渡すことができます。モデルからのレスポンスには、説明と一致する関数の名前と、それを呼び出すための引数が含まれます。
カスタム Java 関数を VertexAiGeminiChatModel に登録すると、Gemini Pro モデルが、登録された関数の 1 つまたは複数を呼び出すための引数を含む JSON オブジェクトの出力をインテリジェントに選択できます。これにより、LLM 機能を外部ツールや API に接続できるようになります。VertexAI Gemini Pro モデルは、関数をいつ呼び出す必要があるかを検出し、関数の署名に準拠した JSON で応答するようにトレーニングされています。
VertexAI Gemini API は関数を直接呼び出しません。代わりに、モデルはコード内で関数を呼び出し、結果をモデルに返して会話を完了するために使用できる JSON を生成します。
Spring AI は、カスタム関数を登録して呼び出すための柔軟でユーザーフレンドリーな方法を提供します。一般に、カスタム関数は、関数 name、description、関数呼び出し signature (Open API スキーマとして) を提供して、関数が期待する引数をモデルに知らせる必要があります。description は、モデルが関数を呼び出すタイミングを理解できます。
開発者は、AI モデルから送信された関数呼び出し引数を受け取り、その結果をモデルに返す関数を実装する必要があります。関数は、結果を提供するために他のサードパーティサービスを呼び出します。
Spring AI を使用すると、java.util.Function を返す @Bean 定義を定義し、ChatModel を呼び出すときにオプションとして Bean 名を指定するだけで、これが簡単になります。
内部では、Spring は、AI モデルとの対話を可能にする適切なアダプターコードで POJO (関数) をラップし、退屈な定型コードの作成を省略します。基盤となるインフラストラクチャの基礎は、Java コールバック関数の実装と登録を簡素化するための FunctionCallback.java [GitHub] (英語) インターフェースと、それに付随する FunctionCallbackWrapper.java [GitHub] (英語) ユーティリティクラスです。
使い方
たとえば、特定の場所の現在の温度など、AI モデルが持っていない情報を AI モデルに応答させたいとします。
AI モデルに、プロンプトを処理するときにその情報を取得するために使用できる独自の関数に関するメタデータを提供できます。
例: プロンプトの処理中に、特定の場所の温度に関する追加情報が必要であると AI モデルが判断した場合、サーバー側で生成されたリクエスト / レスポンスの対話が開始されます。AI モデルはクライアント側の関数を呼び出します。AI モデルはメソッド呼び出しの詳細を JSON として提供し、その関数を実行してレスポンスを返すのはクライアントの責任です。
Spring AI は、関数呼び出しをサポートするために記述する必要があるコードを大幅に簡素化します。関数呼び出しの会話を仲介します。関数定義を @Bean として提供し、プロンプトオプションで関数の Bean 名を提供するだけです。プロンプトで複数の関数 Bean 名を参照することもできます。
クイックスタート
独自の関数を呼び出して質問に答えるチャットボットを作成してみましょう。チャットボットのレスポンスをサポートするために、場所を取得してその場所の現在の天気を返す独自の関数を登録します。
モデルへのプロンプトに対するレスポンスが "What ’ s the weather like in Boston?" などの質問に答える必要がある場合、AI モデルはクライアントを呼び出し、関数に渡される引数として位置の値を提供します。この RPC のようなデータは JSON として渡されます。
関数は、SaaS ベースの気象サービス API を実行し、気象レスポンスをモデルに返して会話を完了します。この例では、さまざまな場所の温度をハードコードする MockWeatherService という名前の単純な実装を使用します。
次の MockWeatherService.java は気象サービス API を表します。
public class MockWeatherService implements Function<Request, Response> {
public enum Unit { C, F }
public record Request(String location, Unit unit) {}
public record Response(double temp, Unit unit) {}
public Response apply(Request request) {
return new Response(30.0, Unit.C);
}
}関数を Bean として登録する
VertexAiGeminiChatModel 自動構成を使用すると、カスタム関数を Spring コンテキストの Bean として登録する複数の方法があります。
まず、POJO に最も適したオプションについて説明します。
プレーンな Java 関数
このアプローチでは、他の Spring 管理対象オブジェクトと同様に、アプリケーションコンテキストで @Beans を定義します。
内部的には、Spring AI ChatModel は、AI モデル経由で呼び出されるロジックを追加する FunctionCallbackWrapper ラッパーのインスタンスを作成します。@Bean の名前は ChatOption として渡されます。
@Configuration
static class Config {
@Bean
@Description("Get the weather in location") // function description
public Function<MockWeatherService.Request, MockWeatherService.Response> weatherFunction1() {
return new MockWeatherService();
}
...
}@Description アノテーションはオプションであり、関数をいつ呼び出すかをモデルが理解するのに役立つ関数の説明 (2) を提供します。これは、AI モデルがどのクライアント側関数を呼び出すかを決定するのに役立つ重要なプロパティです。
関数の説明を提供する別のオプションは、MockWeatherService.Request の @JsonClassDescription アノテーションを使用して関数の説明を提供することです。
@Configuration
static class Config {
@Bean
public Function<Request, Response> currentWeather3() { // (1) bean name as function name.
return new MockWeatherService();
}
...
}
@JsonClassDescription("Get the weather in location") // (2) function description
public record Request(String location, Unit unit) {}AI モデルが呼び出す正しい関数を選択できるように、その関数の生成された JSON スキーマが可能な限り説明的になるように、リクエストオブジェクトに情報をアノテーション付けすることがベストプラクティスです。
FunctionCallWithFunctionBeanIT.java [GitHub] (英語) はこのアプローチを示しています。
FunctionCallback ラッパー
関数を登録する別の方法は、次のように FunctionCallbackWrapper ラッパーを作成することです。
@Configuration
static class Config {
@Bean
public FunctionCallback weatherFunctionInfo() {
return FunctionCallbackWrapper.builder(new MockWeatherService())
.withName("CurrentWeather") // (1) function name
.withDescription("Get the current weather in a given location") // (2) function description
.withSchemaType(SchemaType.OPEN_API) // (3) schema type. Compulsory for Gemini function calling.
.build();
}
...
} サードパーティの MockWeatherService 関数をラップし、VertexAiGeminiChatModel とともに CurrentWeather 関数として登録します。また、説明 (2) を提供し、スキーマ型を Open API 型 (3) に設定します。
| デフォルトのレスポンスコンバーターは、Response オブジェクトの JSON 直列化を実行します。 |
FunctionCallbackWrapper は、MockWeatherService.Request クラスに基づいて関数呼び出しシグネチャーを内部的に解決し、関数呼び出し用の Open API スキーマを内部的に生成します。 |
チャットオプションで機能を指定する
モデルに CurrentWeather 関数を知らせて呼び出すには、プロンプトリクエストでそれを有効にする必要があります。
VertexAiGeminiChatModel chatModel = ...
UserMessage userMessage = new UserMessage("What's the weather like in San Francisco, Tokyo, and Paris?");
ChatResponse response = chatModel.call(new Prompt(List.of(userMessage),
VertexAiGeminiChatOptions.builder().withFunction("CurrentWeather").build())); // (1) Enable the function
logger.info("Response: {}", response); 上記のユーザーの質問により、CurrentWeather 関数への 3 つの呼び出し (都市ごとに 1 つ) がトリガーされ、最終的なレスポンスは次のようになります。
Here is the current weather for the requested cities: - San Francisco, CA: 30.0°C - Tokyo, Japan: 10.0°C - Paris, France: 15.0°C
FunctionCallWithFunctionWrapperIT.java [GitHub] (英語) テストでは、このアプローチをデモしています。
プロンプトオプションを使用した関数の登録 / 呼び出し
自動構成に加えて、プロンプトリクエストを使用してコールバック関数を動的に登録できます。
VertexAiGeminiChatModel chatModel = ...
UserMessage userMessage = new UserMessage("What's the weather like in San Francisco, Tokyo, and Paris? Use Multi-turn function calling.");
var promptOptions = VertexAiGeminiChatOptions.builder()
.withFunctionCallbacks(List.of(FunctionCallbackWrapper.builder(new MockWeatherService())
.withName("CurrentWeather")
.withSchemaType(SchemaType.OPEN_API) // IMPORTANT!!
.withDescription("Get the weather in location")
.build()))
.build();
ChatResponse response = chatModel.call(new Prompt(List.of(userMessage), promptOptions));| プロンプト内に登録された機能は、このリクエストの間、デフォルトで有効になります。 |
このアプローチにより、ユーザー入力に基づいて呼び出されるさまざまな関数を動的に選択できます。
FunctionCallWithPromptFunctionIT.java [GitHub] (英語) 統合テストは、関数を VertexAiGeminiChatModel に登録し、それをプロンプトリクエストで使用する方法の完全な例を提供します。
