Bedrock Anthropic 2 チャット

Anthropic 2 チャット API は非推奨となり、新しい Anthropic Claude 3 メッセージ API に置き換えられました。新しいプロジェクトには Anthropic Claude 3 メッセージ API を使用してください。

Anthropic の Claude (英語) は、有益で誠実で無害な AI システムのトレーニングに関する Anthropic の研究に基づいた AI アシスタントです。Claude モデルには次の高度な機能があります。

  • 200k トークンのコンテキストウィンドウ: Claude は 200,000 に匹敵する豊富なトークン容量を誇り、技術ドキュメント、コードベース、文学作品などのアプリケーションで広範な情報を処理するのに最適です。

  • サポートされているタスク: Claude の多用途性は、要約、Q&A、傾向予測、ドキュメント比較などのタスクにおよび、対話からコンテンツ生成まで幅広いアプリケーションを可能にします。

  • AI 安全機能: Anthropic の安全性研究に基づいて構築された Claude は、インタラクションにおける有用性、誠実さ、無害性を優先し、ブランドリスクを軽減し、責任ある AI の動作を保証します。

AWS Bedrock Anthropic モデルページ [Amazon] および Amazon Bedrock ユーザーガイド には、AWS ホストモデルの使用方法に関する詳細情報が含まれています。

Anthropic の Claude 2 と 3 つのモデルは、Anthropic 独自のクラウドプラットフォームでも直接利用できます。Spring AI は、アクセスするための専用の Anthropic Claude クライアントを提供します。

前提条件

API アクセスの設定については、Spring Amazon Bedrock に関する AI ドキュメントを参照してください。

リポジトリと BOM の追加

Spring AI アーティファクトは、Spring マイルストーンおよびスナップショットリポジトリで公開されます。これらのリポジトリをビルドシステムに追加するには、リポジトリセクションを参照してください。

依存関係の管理を支援するために、Spring AI は BOM (部品表) を提供し、一貫したバージョンの Spring AI がプロジェクト全体で使用されるようにします。Spring AI BOM をビルドシステムに追加するには、"依存関係管理" セクションを参照してください。

自動構成

spring-ai-bedrock-ai-spring-boot-starter 依存関係をプロジェクトの Maven pom.xml ファイルに追加します。

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-bedrock-ai-spring-boot-starter</artifactId>
</dependency>

または、Gradle build.gradle ビルドファイルに保存します。

dependencies {
    implementation 'org.springframework.ai:spring-ai-bedrock-ai-spring-boot-starter'
}
Spring AI BOM をビルドファイルに追加するには、"依存関係管理" セクションを参照してください。

Anthropic チャットを有効にする

デフォルトでは、Anthropic モデルは無効になっています。これを有効にするには、spring.ai.bedrock.anthropic.chat.enabled プロパティを true に設定します。環境変数のエクスポートは、この構成プロパティを設定する 1 つの方法です。

export SPRING_AI_BEDROCK_ANTHROPIC_CHAT_ENABLED=true

チャットのプロパティ

プレフィックス spring.ai.bedrock.aws は、AWS Bedrock への接続を設定するためのプロパティプレフィックスです。

プロパティ 説明 デフォルト

spring.ai.bedrock.aws.region

使用する AWS リージョン。

米国東部 -1

spring.ai.bedrock.aws.timeout

使用する AWS タイムアウト。

5 分

spring.ai.bedrock.aws.access-key

AWS アクセスキー。

-

spring.ai.bedrock.aws.secret-key

AWS の秘密鍵。

-

プレフィックス spring.ai.bedrock.anthropic.chat は、Claude のチャットモデル実装を構成するプロパティプレフィックスです。

プロパティ 説明 デフォルト

spring.ai.bedrock.anthropic.chat.enabled

Bedrock Anthropic チャットモデルを有効にします。デフォルトでは無効になっています

false

spring.ai.bedrock.anthropic.chat.model

使用するモデル ID。対応モデルについては AnthropicChatModel [GitHub] (英語) を参照してください。

anthropic.claude-v2

spring.ai.bedrock.anthropic.chat.options.temperature

出力のランダム性を制御します。値の範囲は [0.0,1.0] です

0.8

spring.ai.bedrock.anthropic.chat.options.topP

サンプリング時に考慮するトークンの最大累積確率。

AWS Bedrock のデフォルト

spring.ai.bedrock.anthropic.chat.options.topK

生成が次のトークンを生成するために使用するトークンの選択肢の数を指定します。

AWS Bedrock のデフォルト

spring.ai.bedrock.anthropic.chat.options.stopSequences

ジェネレーティブが認識するシーケンスを最大 4 つ設定します。停止シーケンスの後、生成はさらなるトークンの生成を停止します。返されるテキストには停止シーケンスは含まれません。

10

spring.ai.bedrock.anthropic.chat.options.anthropicVersion

使用するジェネレーティブのバージョン。

bedrock-2023-05-31

spring.ai.bedrock.anthropic.chat.options.maxTokensToSample

生成されるレスポンスで使用するトークンの最大数を指定します。この最大値に達する前にモデルが停止する可能性があることに注意してください。このパラメーターは、生成するトークンの絶対最大数のみを指定します。最適なパフォーマンスを得るために、4,000 トークンの制限を推奨します。

500

他のモデル ID については、AnthropicChatModel [GitHub] (英語) を参照してください。サポートされている値は次のとおりです: anthropic.claude-instant-v1anthropic.claude-v2anthropic.claude-v2:1. モデル ID 値は基本モデル ID に関する AWS Bedrock ドキュメント [Amazon] にもあります。

spring.ai.bedrock.anthropic.chat.options というプレフィックスが付いたすべてのプロパティは、リクエスト固有のランタイムオプションを Prompt 呼び出しに追加することで実行時にオーバーライドできます。

ランタイムオプション

AnthropicChatOptions.java [GitHub] (英語) は、温度、topK、topP などのモデル構成を提供します。

起動時に、BedrockAnthropicChatModel(api, options) コンストラクターまたは spring.ai.bedrock.anthropic.chat.options.* プロパティを使用してデフォルトのオプションを構成できます。

実行時に、新しいリクエスト固有のオプションを Prompt 呼び出しに追加することで、デフォルトのオプションをオーバーライドできます。たとえば、特定のリクエストのデフォルトの温度をオーバーライドするには、次のようにします。

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        AnthropicChatOptions.builder()
            .withTemperature(0.4)
        .build()
    ));
モデル固有の AnthropicChatOptions [GitHub] (英語) に加えて、ChatOptionsBuilder#builder() [GitHub] (英語) で作成されたポータブル ChatOptions [GitHub] (英語) インスタンスを使用できます。

サンプルコントローラー

新しい Spring Boot プロジェクトを作成し、spring-ai-bedrock-ai-spring-boot-starter を pom (または gradle) の依存関係に追加します。

src/main/resources ディレクトリに application.properties ファイルを追加して、Anthropic チャットモデルを有効にして構成します。

spring.ai.bedrock.aws.region=eu-central-1
spring.ai.bedrock.aws.timeout=1000ms
spring.ai.bedrock.aws.access-key=${AWS_ACCESS_KEY_ID}
spring.ai.bedrock.aws.secret-key=${AWS_SECRET_ACCESS_KEY}

spring.ai.bedrock.anthropic.chat.enabled=true
spring.ai.bedrock.anthropic.chat.options.temperature=0.8
spring.ai.bedrock.anthropic.chat.options.top-k=15
regionsaccess-keysecret-key を AWS 認証情報に置き換えます。

これにより、クラスに挿入できる BedrockAnthropicChatModel 実装が作成されます。以下は、テキスト生成にチャットモデルを使用する単純な @Controller クラスの例です。

@RestController
public class ChatController {

    private final BedrockAnthropicChatModel chatModel;

    @Autowired
    public ChatController(BedrockAnthropicChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Prompt prompt = new Prompt(new UserMessage(message));
        return chatModel.stream(prompt);
    }
}

手動構成

BedrockAnthropicChatModel [GitHub] (英語) は ChatModel および StreamingChatModel を実装し、低レベル AnthropicChatBedrockApi クライアントを使用して Bedrock Anthropic サービスに接続します。

spring-ai-bedrock 依存関係をプロジェクトの Maven pom.xml ファイルに追加します。

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-bedrock</artifactId>
</dependency>

または、Gradle build.gradle ビルドファイルに保存します。

dependencies {
    implementation 'org.springframework.ai:spring-ai-bedrock'
}
Spring AI BOM をビルドファイルに追加するには、"依存関係管理" セクションを参照してください。

次に、BedrockAnthropicChatModel [GitHub] (英語) を作成し、テキスト生成に使用します。

AnthropicChatBedrockApi anthropicApi =  new AnthropicChatBedrockApi(
    AnthropicChatBedrockApi.AnthropicModel.CLAUDE_V2.id(),
    EnvironmentVariableCredentialsProvider.create(),
    Region.EU_CENTRAL_1.id(),
    new ObjectMapper(),
    Duration.ofMillis(1000L));

BedrockAnthropicChatModel chatModel = new BedrockAnthropicChatModel(anthropicApi,
    AnthropicChatOptions.builder()
        .withTemperature(0.6f)
        .withTopK(10)
        .withTopP(0.8f)
        .withMaxTokensToSample(100)
        .withAnthropicVersion(AnthropicChatBedrockApi.DEFAULT_ANTHROPIC_VERSION)
        .build());

ChatResponse response = chatModel.call(
    new Prompt("Generate the names of 5 famous pirates."));

// Or with streaming responses
Flux<ChatResponse> response = chatModel.stream(
    new Prompt("Generate the names of 5 famous pirates."));

低レベル AnthropicChatBedrockApi クライアント

AnthropicChatBedrockApi [GitHub] (英語) は、AWS Bedrock Anthropic Claude 形 [Amazon] 上にある軽量の Java クライアントを提供します。

次のクラス図は、AnthropicChatBedrockApi インターフェースと構成要素を示しています。

AnthropicChatBedrockApi Class Diagram

クライアントは、同期レスポンス (例: chatCompletion()) とストリーミングレスポンス (例: chatCompletionStream()) の両方の anthropic.claude-instant-v1anthropic.claude-v2anthropic.claude-v2:1 モデルをサポートします。

API をプログラムで使用する方法の簡単なスニペットを次に示します。

AnthropicChatBedrockApi anthropicChatApi = new AnthropicChatBedrockApi(
   AnthropicModel.CLAUDE_V2.id(), Region.EU_CENTRAL_1.id(), Duration.ofMillis(1000L));

AnthropicChatRequest request = AnthropicChatRequest
  .builder(String.format(AnthropicChatBedrockApi.PROMPT_TEMPLATE, "Name 3 famous pirates"))
  .withTemperature(0.8f)
  .withMaxTokensToSample(300)
  .withTopK(10)
  .build();

// Sync request
AnthropicChatResponse response = anthropicChatApi.chatCompletion(request);

// Streaming request
Flux<AnthropicChatResponse> responseStream = anthropicChatApi.chatCompletionStream(request);
List<AnthropicChatResponse> responses = responseStream.collectList().block();

詳細については、AnthropicChatBedrockApi.java [GitHub] (英語) の JavaDoc を参照してください。