Bedrock Anthropic 2 チャット
Anthropic 2 チャット API は非推奨となり、新しい Anthropic Claude 3 メッセージ API に置き換えられました。新しいプロジェクトには Anthropic Claude 3 メッセージ API を使用してください。 |
Anthropic の Claude (英語) は、有益で誠実で無害な AI システムのトレーニングに関する Anthropic の研究に基づいた AI アシスタントです。Claude モデルには次の高度な機能があります。
200k トークンのコンテキストウィンドウ: Claude は 200,000 に匹敵する豊富なトークン容量を誇り、技術ドキュメント、コードベース、文学作品などのアプリケーションで広範な情報を処理するのに最適です。
サポートされているタスク: Claude の多用途性は、要約、Q&A、傾向予測、ドキュメント比較などのタスクにおよび、対話からコンテンツ生成まで幅広いアプリケーションを可能にします。
AI 安全機能: Anthropic の安全性研究に基づいて構築された Claude は、インタラクションにおける有用性、誠実さ、無害性を優先し、ブランドリスクを軽減し、責任ある AI の動作を保証します。
AWS Bedrock Anthropic モデルページ [Amazon] および Amazon Bedrock ユーザーガイド には、AWS ホストモデルの使用方法に関する詳細情報が含まれています。
Anthropic の Claude 2 と 3 つのモデルは、Anthropic 独自のクラウドプラットフォームでも直接利用できます。Spring AI は、アクセスするための専用の Anthropic Claude クライアントを提供します。 |
前提条件
API アクセスの設定については、Spring Amazon Bedrock に関する AI ドキュメントを参照してください。
自動構成
spring-ai-bedrock-ai-spring-boot-starter
依存関係をプロジェクトの Maven pom.xml
ファイルに追加します。
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-bedrock-ai-spring-boot-starter</artifactId>
</dependency>
または、Gradle build.gradle
ビルドファイルに保存します。
dependencies {
implementation 'org.springframework.ai:spring-ai-bedrock-ai-spring-boot-starter'
}
Spring AI BOM をビルドファイルに追加するには、"依存関係管理" セクションを参照してください。 |
Anthropic チャットを有効にする
デフォルトでは、Anthropic モデルは無効になっています。これを有効にするには、spring.ai.bedrock.anthropic.chat.enabled
プロパティを true
に設定します。環境変数のエクスポートは、この構成プロパティを設定する 1 つの方法です。
export SPRING_AI_BEDROCK_ANTHROPIC_CHAT_ENABLED=true
チャットのプロパティ
プレフィックス spring.ai.bedrock.aws
は、AWS Bedrock への接続を設定するためのプロパティプレフィックスです。
プロパティ | 説明 | デフォルト |
---|---|---|
spring.ai.bedrock.aws.region | 使用する AWS リージョン。 | 米国東部 -1 |
spring.ai.bedrock.aws.timeout | 使用する AWS タイムアウト。 | 5 分 |
spring.ai.bedrock.aws.access-key | AWS アクセスキー。 | - |
spring.ai.bedrock.aws.secret-key | AWS の秘密鍵。 | - |
プレフィックス spring.ai.bedrock.anthropic.chat
は、Claude のチャットモデル実装を構成するプロパティプレフィックスです。
プロパティ | 説明 | デフォルト |
---|---|---|
spring.ai.bedrock.anthropic.chat.enabled | Bedrock Anthropic チャットモデルを有効にします。デフォルトでは無効になっています | false |
spring.ai.bedrock.anthropic.chat.model | 使用するモデル ID。対応モデルについては AnthropicChatModel [GitHub] (英語) を参照してください。 | anthropic.claude-v2 |
spring.ai.bedrock.anthropic.chat.options.temperature | 出力のランダム性を制御します。値の範囲は [0.0,1.0] です | 0.8 |
spring.ai.bedrock.anthropic.chat.options.topP | サンプリング時に考慮するトークンの最大累積確率。 | AWS Bedrock のデフォルト |
spring.ai.bedrock.anthropic.chat.options.topK | 生成が次のトークンを生成するために使用するトークンの選択肢の数を指定します。 | AWS Bedrock のデフォルト |
spring.ai.bedrock.anthropic.chat.options.stopSequences | ジェネレーティブが認識するシーケンスを最大 4 つ設定します。停止シーケンスの後、生成はさらなるトークンの生成を停止します。返されるテキストには停止シーケンスは含まれません。 | 10 |
spring.ai.bedrock.anthropic.chat.options.anthropicVersion | 使用するジェネレーティブのバージョン。 | bedrock-2023-05-31 |
spring.ai.bedrock.anthropic.chat.options.maxTokensToSample | 生成されるレスポンスで使用するトークンの最大数を指定します。この最大値に達する前にモデルが停止する可能性があることに注意してください。このパラメーターは、生成するトークンの絶対最大数のみを指定します。最適なパフォーマンスを得るために、4,000 トークンの制限を推奨します。 | 500 |
他のモデル ID については、AnthropicChatModel [GitHub] (英語) を参照してください。サポートされている値は次のとおりです: anthropic.claude-instant-v1
、anthropic.claude-v2
、anthropic.claude-v2:1
. モデル ID 値は基本モデル ID に関する AWS Bedrock ドキュメント [Amazon] にもあります。
spring.ai.bedrock.anthropic.chat.options というプレフィックスが付いたすべてのプロパティは、リクエスト固有のランタイムオプションを Prompt 呼び出しに追加することで実行時にオーバーライドできます。 |
ランタイムオプション
AnthropicChatOptions.java [GitHub] (英語) は、温度、topK、topP などのモデル構成を提供します。
起動時に、BedrockAnthropicChatModel(api, options)
コンストラクターまたは spring.ai.bedrock.anthropic.chat.options.*
プロパティを使用してデフォルトのオプションを構成できます。
実行時に、新しいリクエスト固有のオプションを Prompt
呼び出しに追加することで、デフォルトのオプションをオーバーライドできます。たとえば、特定のリクエストのデフォルトの温度をオーバーライドするには、次のようにします。
ChatResponse response = chatModel.call(
new Prompt(
"Generate the names of 5 famous pirates.",
AnthropicChatOptions.builder()
.withTemperature(0.4)
.build()
));
モデル固有の AnthropicChatOptions [GitHub] (英語) に加えて、ChatOptionsBuilder#builder() [GitHub] (英語) で作成されたポータブル ChatOptions [GitHub] (英語) インスタンスを使用できます。 |
サンプルコントローラー
新しい Spring Boot プロジェクトを作成し、spring-ai-bedrock-ai-spring-boot-starter
を pom (または gradle) の依存関係に追加します。
src/main/resources
ディレクトリに application.properties
ファイルを追加して、Anthropic チャットモデルを有効にして構成します。
spring.ai.bedrock.aws.region=eu-central-1
spring.ai.bedrock.aws.timeout=1000ms
spring.ai.bedrock.aws.access-key=${AWS_ACCESS_KEY_ID}
spring.ai.bedrock.aws.secret-key=${AWS_SECRET_ACCESS_KEY}
spring.ai.bedrock.anthropic.chat.enabled=true
spring.ai.bedrock.anthropic.chat.options.temperature=0.8
spring.ai.bedrock.anthropic.chat.options.top-k=15
regions 、access-key 、secret-key を AWS 認証情報に置き換えます。 |
これにより、クラスに挿入できる BedrockAnthropicChatModel
実装が作成されます。以下は、テキスト生成にチャットモデルを使用する単純な @Controller
クラスの例です。
@RestController
public class ChatController {
private final BedrockAnthropicChatModel chatModel;
@Autowired
public ChatController(BedrockAnthropicChatModel chatModel) {
this.chatModel = chatModel;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", chatModel.call(message));
}
@GetMapping("/ai/generateStream")
public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
Prompt prompt = new Prompt(new UserMessage(message));
return chatModel.stream(prompt);
}
}
手動構成
BedrockAnthropicChatModel [GitHub] (英語) は ChatModel
および StreamingChatModel
を実装し、低レベル AnthropicChatBedrockApi クライアントを使用して Bedrock Anthropic サービスに接続します。
spring-ai-bedrock
依存関係をプロジェクトの Maven pom.xml
ファイルに追加します。
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-bedrock</artifactId>
</dependency>
または、Gradle build.gradle
ビルドファイルに保存します。
dependencies {
implementation 'org.springframework.ai:spring-ai-bedrock'
}
Spring AI BOM をビルドファイルに追加するには、"依存関係管理" セクションを参照してください。 |
次に、BedrockAnthropicChatModel [GitHub] (英語) を作成し、テキスト生成に使用します。
AnthropicChatBedrockApi anthropicApi = new AnthropicChatBedrockApi(
AnthropicChatBedrockApi.AnthropicModel.CLAUDE_V2.id(),
EnvironmentVariableCredentialsProvider.create(),
Region.EU_CENTRAL_1.id(),
new ObjectMapper(),
Duration.ofMillis(1000L));
BedrockAnthropicChatModel chatModel = new BedrockAnthropicChatModel(anthropicApi,
AnthropicChatOptions.builder()
.withTemperature(0.6f)
.withTopK(10)
.withTopP(0.8f)
.withMaxTokensToSample(100)
.withAnthropicVersion(AnthropicChatBedrockApi.DEFAULT_ANTHROPIC_VERSION)
.build());
ChatResponse response = chatModel.call(
new Prompt("Generate the names of 5 famous pirates."));
// Or with streaming responses
Flux<ChatResponse> response = chatModel.stream(
new Prompt("Generate the names of 5 famous pirates."));
低レベル AnthropicChatBedrockApi クライアント
AnthropicChatBedrockApi [GitHub] (英語) は、AWS Bedrock Anthropic Claude 形 [Amazon] 上にある軽量の Java クライアントを提供します。
次のクラス図は、AnthropicChatBedrockApi インターフェースと構成要素を示しています。
クライアントは、同期レスポンス (例: chatCompletion()
) とストリーミングレスポンス (例: chatCompletionStream()
) の両方の anthropic.claude-instant-v1
、anthropic.claude-v2
、anthropic.claude-v2:1
モデルをサポートします。
API をプログラムで使用する方法の簡単なスニペットを次に示します。
AnthropicChatBedrockApi anthropicChatApi = new AnthropicChatBedrockApi(
AnthropicModel.CLAUDE_V2.id(), Region.EU_CENTRAL_1.id(), Duration.ofMillis(1000L));
AnthropicChatRequest request = AnthropicChatRequest
.builder(String.format(AnthropicChatBedrockApi.PROMPT_TEMPLATE, "Name 3 famous pirates"))
.withTemperature(0.8f)
.withMaxTokensToSample(300)
.withTopK(10)
.build();
// Sync request
AnthropicChatResponse response = anthropicChatApi.chatCompletion(request);
// Streaming request
Flux<AnthropicChatResponse> responseStream = anthropicChatApi.chatCompletionStream(request);
List<AnthropicChatResponse> responses = responseStream.collectList().block();
詳細については、AnthropicChatBedrockApi.java [GitHub] (英語) の JavaDoc を参照してください。