Jurassic-2 チャット
AI21 Labs Jurassic オン Amazon Bedrock Jurassic は、AI21 Labs のエンタープライズ向け信頼性の高い FM ファミリであり、何千ものライブアプリケーションにわたって、質問応答、テキスト生成、検索、要約などの高度な言語生成タスクを実行します。
前提条件
API アクセスの設定については、Spring Amazon Bedrock に関する AI ドキュメントを参照してください。
自動構成
spring-ai-bedrock-ai-spring-boot-starter 依存関係をプロジェクトの Maven pom.xml ファイルに追加します。
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-bedrock-ai-spring-boot-starter</artifactId>
</dependency> または、Gradle build.gradle ビルドファイルに保存します。
dependencies {
implementation 'org.springframework.ai:spring-ai-bedrock-ai-spring-boot-starter'
}| Spring AI BOM をビルドファイルに追加するには、"依存関係管理" セクションを参照してください。 |
Jurassic-2 を有効にする
デフォルトでは、Bedrock Jurassic-2 モデルは無効になっています。これを有効にするには、spring.ai.bedrock.jurassic2.chat.enabled プロパティを true に設定します。環境変数のエクスポートは、この構成プロパティを設定する 1 つの方法です。
export SPRING_AI_BEDROCK_JURASSIC2_CHAT_ENABLED=trueチャットのプロパティ
プレフィックス spring.ai.bedrock.aws は、AWS Bedrock への接続を設定するためのプロパティプレフィックスです。
| プロパティ | 説明 | デフォルト |
|---|---|---|
spring.ai.bedrock.aws.region | 使用する AWS リージョン。 | 米国東部 -1 |
spring.ai.bedrock.aws.timeout | 使用する AWS タイムアウト。 | 5 分 |
spring.ai.bedrock.aws.access-key | AWS アクセスキー。 | - |
spring.ai.bedrock.aws.secret-key | AWS の秘密鍵。 | - |
プレフィックス spring.ai.bedrock.jurassic2.chat は、Jurassic-2 のチャットモデル実装を構成するプロパティプレフィックスです。
| プロパティ | 説明 | デフォルト |
|---|---|---|
spring.ai.bedrock.jurassic2.chat.enabled | Jurassic-2 のサポートを有効または無効にする | false |
spring.ai.bedrock.jurassic2.chat.model | 使用するモデル ID (下記を参照) | ai21.j2-mid-v1 |
spring.ai.bedrock.jurassic2.chat.options.temperature | 出力のランダム性を制御します。値の範囲は [0.0,1.0] 以上です。値が 1.0 に近いほど、より多様なレスポンスが生成されますが、値が 0.0 に近いほど、通常はモデルからの驚くべきレスポンスが少なくなります。この値は、モデルの呼び出し中にバックエンドによって使用されるデフォルトを指定します。 | 0.7 |
spring.ai.bedrock.jurassic2.chat.options.top-p | サンプリング時に考慮するトークンの最大累積確率。このモデルは、Top-k サンプリングと核サンプリングを組み合わせて使用します。nucleus サンプリングでは、確率の合計が少なくとも topP であるトークンの最小セットが考慮されます。 | AWS Bedrock のデフォルト |
spring.ai.bedrock.jurassic2.chat.options.max-tokens | 生成されたレスポンスで使用するトークンの最大数を指定します。生成されたテキストが maxTokens を超えると、モデルはレスポンスを切り捨てます。 | 500 |
他のモデル ID については、Ai21Jurassic2ChatBedrockApi#Ai21Jurassic2Chat モデル [GitHub] (英語) を参照してください。サポートされているもう 1 つの値は ai21.j2-ultra-v1 です。モデル ID 値は基本モデル ID に関する AWS Bedrock ドキュメント [Amazon] にもあります。
spring.ai.bedrock.jurassic2.chat.options というプレフィックスが付いたすべてのプロパティは、リクエスト固有のランタイムオプションを Prompt 呼び出しに追加することで実行時にオーバーライドできます。 |
ランタイムオプション
BedrockAi21Jurassic2ChatOptions.java [GitHub] (英語) は、温度、topP、maxTokens などのモデル構成を提供します。
起動時に、BedrockAi21Jurassic2ChatModel(api, options) コンストラクターまたは spring.ai.bedrock.jurassic2.chat.options.* プロパティを使用してデフォルトのオプションを構成できます。
実行時に、新しいリクエスト固有のオプションを Prompt 呼び出しに追加することで、デフォルトのオプションをオーバーライドできます。たとえば、特定のリクエストのデフォルトの温度をオーバーライドするには、次のようにします。
ChatResponse response = chatModel.call(
new Prompt(
"Generate the names of 5 famous pirates.",
BedrockAi21Jurassic2ChatOptions.builder()
.withTemperature(0.4)
.build()
));| モデル固有の BedrockAi21Jurassic2ChatOptions [GitHub] (英語) に加えて、ChatOptionsBuilder#builder() [GitHub] (英語) で作成されたポータブル ChatOptions [GitHub] (英語) インスタンスを使用できます。 |
サンプルコントローラー
新しい Spring Boot プロジェクトを作成し、spring-ai-bedrock-ai-spring-boot-starter を pom (または gradle) の依存関係に追加します。
src/main/resources ディレクトリに application.properties ファイルを追加して、Jurassic-2 チャットモデルを有効にして構成します。
spring.ai.bedrock.aws.region=eu-central-1
spring.ai.bedrock.aws.timeout=1000ms
spring.ai.bedrock.aws.access-key=${AWS_ACCESS_KEY_ID}
spring.ai.bedrock.aws.secret-key=${AWS_SECRET_ACCESS_KEY}
spring.ai.bedrock.jurassic2.chat.enabled=true
spring.ai.bedrock.jurassic2.chat.options.temperature=0.8regions、access-key、secret-key を AWS 認証情報に置き換えます。 |
これにより、クラスに挿入できる BedrockAi21Jurassic2ChatModel 実装が作成されます。以下は、テキスト生成にチャットモデルを使用する単純な @Controller クラスの例です。
@RestController
public class ChatController {
private final BedrockAi21Jurassic2ChatModel chatModel;
@Autowired
public ChatController(BedrockAi21Jurassic2ChatModel chatModel) {
this.chatModel = chatModel;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", chatModel.call(message));
}
}手動構成
BedrockAi21Jurassic2ChatModel [GitHub] (英語) は ChatModel を実装し、低レベルクライアントを使用して Bedrock Jurassic-2 サービスに接続します。
spring-ai-bedrock 依存関係をプロジェクトの Maven pom.xml ファイルに追加します。
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-bedrock</artifactId>
</dependency> または、Gradle build.gradle ビルドファイルに保存します。
dependencies {
implementation 'org.springframework.ai:spring-ai-bedrock'
}| Spring AI BOM をビルドファイルに追加するには、"依存関係管理" セクションを参照してください。 |
次に、BedrockAi21Jurassic2ChatModel [GitHub] (英語) を作成し、テキスト生成に使用します。
Ai21Jurassic2ChatBedrockApi api = new Ai21Jurassic2ChatBedrockApi(Ai21Jurassic2ChatModel.AI21_J2_MID_V1.id(),
EnvironmentVariableCredentialsProvider.create(),
Region.US_EAST_1.id(),
new ObjectMapper(),
Duration.ofMillis(1000L));
BedrockAi21Jurassic2ChatModel chatModel = new BedrockAi21Jurassic2ChatModel(api,
BedrockAi21Jurassic2ChatOptions.builder()
.withTemperature(0.5f)
.withMaxTokens(100)
.withTopP(0.9f).build());
ChatResponse response = chatModel.call(
new Prompt("Generate the names of 5 famous pirates."));低レベルクライアント
Ai21Jurassic2ChatBedrockApi [GitHub] (英語) は、AWS Bedrock Jurassic-2 および Jurassic-2 チャットモデル [Amazon] 上に軽量の Java クライアントを提供します。
Ai21Jurassic2ChatBedrockApi は ai21.j2-mid-v1 および ai21.j2-ultra-v1 モデルをサポートし、同期 (chatCompletion()) のみをサポートします。
以下は、API をプログラムで使用する方法の簡単な例です。
Ai21Jurassic2ChatBedrockApi jurassic2ChatApi = new Ai21Jurassic2ChatBedrockApi(
Ai21Jurassic2ChatModel.AI21_J2_MID_V1.id(),
Region.US_EAST_1.id(),
Duration.ofMillis(1000L));
Ai21Jurassic2ChatRequest request = Ai21Jurassic2ChatRequest.builder("Hello, my name is")
.withTemperature(0.9f)
.withTopP(0.9f)
.withMaxTokens(20)
.build();
Ai21Jurassic2ChatResponse response = jurassic2ChatApi.chatCompletion(request);詳細については、Ai21Jurassic2ChatBedrockApi.java [GitHub] (英語) の JavaDoc を参照してください。
