QianFan チャット
Spring AI は、QianFan のさまざまな AI 言語モデルをサポートしています。QianFan 言語モデルと対話し、QianFan モデルに基づいて多言語会話アシスタントを作成できます。
前提条件
QianFan 言語モデルにアクセスするには、QianFan を使用して API を作成する必要があります。
QianFan 登録ページ (英語) でアカウントを作成し、API キーページ (英語) でトークンを生成します。Spring AI プロジェクトは、spring.ai.qianfan.api-key および spring.ai.qianfan.secret-key という名前の構成プロパティを定義します。API キーページ (英語) から取得した API Key および Secret Key の値に設定する必要があります。環境変数をエクスポートすることは、その構成プロパティを設定する 1 つの方法です。
export SPRING_AI_QIANFAN_API_KEY=<INSERT KEY HERE>自動構成
Spring AI は、QianFan チャットクライアント用の Spring Boot 自動構成を提供します。これを有効にするには、プロジェクトの Maven pom.xml ファイルに次の依存関係を追加します。
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-qianfan-spring-boot-starter</artifactId>
</dependency> または、Gradle build.gradle ビルドファイルに保存します。
dependencies {
implementation 'org.springframework.ai:spring-ai-qianfan-spring-boot-starter'
}| Spring AI BOM をビルドファイルに追加するには、"依存関係管理" セクションを参照してください。 |
チャットのプロパティ
再試行プロパティ
プレフィックス spring.ai.retry は、QianFan チャットクライアントの再試行メカニズムを構成できるプロパティプレフィックスとして使用されます。
| プロパティ | 説明 | デフォルト |
|---|---|---|
spring.ai.retry.max-attempts | 再試行の最大回数。 | 10 |
spring.ai.retry.backoff.initial-interval | 指数関数的バックオフポリシーの初期スリープ期間。 | 2 秒 |
spring.ai.retry.backoff.multiplier | バックオフ間隔の乗数。 | 5 |
spring.ai.retry.backoff.max-interval | 最大バックオフ期間。 | 3 分 |
spring.ai.retry.on-client-errors | false の場合、NonTransientAiException をスローし、 | false |
spring.ai.retry.exclude-on-http-codes | 再試行をトリガーすべきではない HTTP ステータスコードのリスト (NonTransientAiException をスローするなど)。 | 空 |
spring.ai.retry.on-http-codes | 再試行をトリガーする必要がある HTTP ステータスコードのリスト (例: TransientAiException をスローする)。 | 空 |
接続プロパティ
接頭辞 spring.ai.qianfan は、QianFan への接続を可能にするプロパティ接頭辞として使用されます。
| プロパティ | 説明 | デフォルト |
|---|---|---|
spring.ai.qianfan.base-url | 接続先の URL | |
spring.ai.qianfan.api-key | API キー | - |
spring.ai.qianfan.secret-key | 秘密の鍵 | - |
プロパティの構成
プレフィックス spring.ai.qianfan.chat は、QianFan のチャットクライアント実装を構成できるプロパティプレフィックスです。
| プロパティ | 説明 | デフォルト |
|---|---|---|
spring.ai.qianfan.chat.enabled | QianFan チャットクライアントを有効にします。 | true |
spring.ai.qianfan.chat.base-url | オプションで spring.ai.qianfan.base-url をオーバーライドして、チャット固有の URL を提供します | |
spring.ai.qianfan.chat.api-key | オプションで spring.ai.qianfan.api-key をオーバーライドしてチャット固有の API キーを提供します | - |
spring.ai.qianfan.chat.secret-key | オプションで spring.ai.qianfan.secret-key をオーバーライドしてチャット固有の秘密鍵を提供する | - |
spring.ai.qianfan.chat.options.model | 使用するチャットモデルは QianFan です |
|
spring.ai.qianfan.chat.options.maxTokens | チャット補完で生成するトークンの最大数。入力トークンと生成されたトークンの合計の長さは、モデルのコンテキストの長さによって制限されます。 | - |
spring.ai.qianfan.chat.options.temperature | 生成される補完の見かけの創造性を制御するために使用するサンプリング温度。値を高くすると出力がよりランダムになり、値を低くすると結果がより集中的で決定的になります。これら 2 つの設定の相互作用を予測するのは難しいため、同じ完了リクエストに対して温度と top_p を変更することはお勧めできません。 | 0.7 |
spring.ai.qianfan.chat.options.topP | 核サンプリングと呼ばれる、温度によるサンプリングの代替方法。モデルは、top_p 確率質量を使用してトークンの結果を考慮します。0.1 は、上位 10% の確率質量を構成するトークンのみが考慮されることを意味します。通常、これまたは温度を変更することをお勧めしますが、両方を変更することは推奨しません。 | 1.0 |
spring.ai.qianfan.chat.options.presencePenalty | -2.0 から 2.0 までの数値。正の値を指定すると、これまでにテキストに出現したかどうかに基づいて新しいトークンにペナルティが課され、モデルが新しいトピックについて話す可能性が高まります。 | 0.0f |
spring.ai.qianfan.chat.options.frequencyPenalty | -2.0 から 2.0 までの数値。正の値を指定すると、これまでのテキスト内の既存の頻度に基づいて新しいトークンにペナルティが課され、モデルが同じ行をそのまま繰り返す可能性が低くなります。 | 0.0f |
spring.ai.qianfan.chat.options.stop | モデルは stop で指定された文字の生成を停止します。現在は ["stop_word1"] の形式で単一のストップワードのみをサポートしています | - |
ChatClient 実装の共通 spring.ai.qianfan.base-url、spring.ai.qianfan.chat.api-key、spring.ai.qianfan.chat.secret-key をオーバーライドできます。spring.ai.qianfan.chat.base-url、spring.ai.qianfan.chat.api-key、spring.ai.qianfan.chat.secret-key プロパティが設定されている場合は、共通プロパティよりも優先されます。これは、異なるモデルや異なるモデルエンドポイントに異なる QianFan アカウントを使用する場合に便利です。 |
spring.ai.qianfan.chat.options というプレフィックスが付いたすべてのプロパティは、リクエスト固有のランタイムオプションを Prompt 呼び出しに追加することで実行時にオーバーライドできます。 |
ランタイムオプション
QianFanChatOptions.java [GitHub] (英語) は、使用するモデル、温度、周波数ペナルティなどのモデル構成を提供します。
起動時に、QianFanChatModel(api, options) コンストラクターまたは spring.ai.qianfan.chat.options.* プロパティを使用してデフォルトのオプションを構成できます。
実行時に、新しいリクエスト固有のオプションを Prompt 呼び出しに追加することで、デフォルトのオプションをオーバーライドできます。たとえば、特定のリクエストのデフォルトのモデルと温度をオーバーライドするには、次のようにします。
ChatResponse response = chatClient.call(
new Prompt(
"Generate the names of 5 famous pirates.",
QianFanChatOptions.builder()
.withModel(QianFanApi.ChatModel.ERNIE_Speed_8K.getValue())
.withTemperature(0.5f)
.build()
));| モデル固有の QianFanChatOptions [GitHub] (英語) に加えて、ChatOptionsBuilder#builder() [GitHub] (英語) で作成されたポータブル ChatOptions [GitHub] (英語) インスタンスを使用できます。 |
サンプルコントローラー
新しい Spring Boot プロジェクトを作成し、spring-ai-qianfan-spring-boot-starter を pom (または gradle) の依存関係に追加します。
src/main/resources ディレクトリに application.properties ファイルを追加して、QianFan チャットクライアントを有効にして構成します。
spring.ai.qianfan.api-key=YOUR_API_KEY
spring.ai.qianfan.secret-key=YOUR_SECRET_KEY
spring.ai.qianfan.chat.options.model=ernie_speed
spring.ai.qianfan.chat.options.temperature=0.7api-key と secret-key を QianFan の資格情報に置き換えます。 |
これにより、クラスに注入できる QianFanChatModel 実装が作成されます。以下は、テキスト生成にチャットクライアントを使用する単純な @Controller クラスの例です。
@RestController
public class ChatController {
private final QianFanChatModel chatClient;
@Autowired
public ChatController(QianFanChatModel chatClient) {
this.chatClient = chatClient;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", chatClient.call(message));
}
@GetMapping("/ai/generateStream")
public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
var prompt = new Prompt(new UserMessage(message));
return chatClient.stream(prompt);
}
}手動構成
QianFanChatModel [GitHub] (英語) は ChatClient と StreamingChatClient を実装し、低レベル QianFanApi クライアントを使用して QianFan サービスに接続します。
spring-ai-qianfan 依存関係をプロジェクトの Maven pom.xml ファイルに追加します。
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-qianfan</artifactId>
</dependency> または、Gradle build.gradle ビルドファイルに保存します。
dependencies {
implementation 'org.springframework.ai:spring-ai-qianfan'
}| Spring AI BOM をビルドファイルに追加するには、"依存関係管理" セクションを参照してください。 |
次に、QianFanChatModel を作成し、テキスト生成に使用します。
var qianFanApi = new QianFanApi(System.getenv("QIANFAN_API_KEY"), System.getenv("QIANFAN_SECRET_KEY"));
var chatClient = new QianFanChatModel(qianFanApi, QianFanChatOptions.builder()
.withModel(QianFanApi.ChatModel.ERNIE_Speed_8K.getValue())
.withTemperature(0.4f)
.withMaxTokens(200)
.build());
ChatResponse response = chatClient.call(
new Prompt("Generate the names of 5 famous pirates."));
// Or with streaming responses
Flux<ChatResponse> streamResponse = chatClient.stream(
new Prompt("Generate the names of 5 famous pirates."));QianFanChatOptions は、チャットリクエストの構成情報を提供します。QianFanChatOptions.Builder は流れるようなオプションビルダーです。
低レベル QianFanApi クライアント
QianFanApi [GitHub] (英語) が提供するのは、QianFan API (英語) 用の軽量 Java クライアントです。
API をプログラムで使用する方法の簡単なスニペットを次に示します。
String systemMessage = "Your name is QianWen";
QianFanApi qianFanApi =
new QianFanApi(System.getenv("QIANFAN_API_KEY"), System.getenv("QIANFAN_SECRET_KEY"));
ChatCompletionMessage chatCompletionMessage =
new ChatCompletionMessage("Hello world", Role.USER);
// Sync request
ResponseEntity<ChatCompletion> response = qianFanApi.chatCompletionEntity(
new ChatCompletionRequest(List.of(chatCompletionMessage), systemMessage, QianFanApi.ChatModel.ERNIE_Speed_8K.getValue(), 0.7f, false));
// Streaming request
Flux<ChatCompletionChunk> streamResponse = qianFanApi.chatCompletionStream(
new ChatCompletionRequest(List.of(chatCompletionMessage), systemMessage, QianFanApi.ChatModel.ERNIE_Speed_8K.getValue(), 0.7f, true));詳細については、QianFanApi.java [GitHub] (英語) の JavaDoc を参照してください。
QianFanApi サンプル
QianFanApiIT.java [GitHub] (英語) テストでは、軽量ライブラリの使用方法の一般的な例をいくつか示します。
