スキップロジックの構成
処理中に発生したエラーが Step の失敗につながるべきではなく、代わりにスキップする必要がある多くのシナリオがあります。これは通常、データ自体とその意味を理解している人が行う必要がある決定です。たとえば、財務データは、完全に正確である必要がある送金につながるため、スキップできない場合があります。一方、ベンダーのリストをロードすると、スキップが可能になる場合があります。フォーマットが正しくないか、必要な情報が欠落しているためにベンダーがロードされない場合、おそらく課題はありません。通常、これらの悪いレコードもログに記録されます。これについては、後でリスナーについて説明するときに説明します。
Java
XML
次の Java の例は、スキップ制限の使用例を示しています。
@Bean
public Step step1(JobRepository jobRepository, PlatformTransactionManager transactionManager) {
int skipLimit = 10;
var skippableExceptions = Set.of(FlatFileParseException.class);
SkipPolicy skipPolicy = new LimitCheckingExceptionHierarchySkipPolicy(skippableExceptions, skipLimit);
return new StepBuilder("step1", jobRepository)
.<String, String>chunk(10).transactionManager(transactionManager)
.reader(flatFileItemReader())
.writer(itemWriter())
.faultTolerant()
.skipPolicy(skipPolicy)
.build();
} メモ: skipLimit は、skipLimit() メソッドを使用して明示的に設定できます。
次の XML の例は、スキップ制限の使用例を示しています。
<step id="step1">
<tasklet>
<chunk reader="flatFileItemReader" writer="itemWriter"
commit-interval="10" skip-limit="10">
<skippable-exception-classes>
<include class="org.springframework.batch.infrastructure.item.file.FlatFileParseException"/>
</skippable-exception-classes>
</chunk>
</tasklet>
</step> 前の例では、FlatFileItemReader が使用されています。いずれかの時点で、FlatFileParseException がスローされた場合、アイテムはスキップされ、合計スキップ制限 10 に対してカウントされます。宣言された例外 (およびそのサブクラス) は、チャンク処理 (読み取り、プロセス、書きます)。ステップ実行内での読み取り、処理、書き込みのスキップは個別にカウントされますが、制限はすべてのスキップに適用されます。スキップ制限に達すると、次に見つかった例外によってステップが失敗します。つまり、10 回目ではなく、11 回目のスキップで例外がトリガーされます。
スキップ制限はすべてのスキップ (読み取り、処理、書き込み) に適用されます。 |
書き込み失敗とチャンクスキャンをスキップする
読み取りおよび処理の失敗は単一の項目に影響するため、残りのチャンクを破棄することなくスキップできます。書き込みの失敗は異なります。ItemWriter はチャンク全体を一度に受信するため、フレームワークはどの項目が失敗の原因となったかを判別できません。書き込みがスキップ可能な例外で失敗した場合、チャンクトランザクションはロールバックされ、ステップはスキャンモードに入ります。失敗したチャンクの項目はトランザクションごとに 1 項目ずつ再試行されるため、問題のある項目のみがスキップされ、他の項目は引き続き書き込まれます。
スキャンされた各アイテムに独自のトランザクションを割り当てることは、書き込み処理の失敗によって基盤となるリソースが破損する場合に重要です。JpaItemWriter の flush() が失敗すると、永続化コンテキストがロールバック専用としてマークされ、同じトランザクション内の後続のすべてのアイテムも失敗することになります。
デフォルトでは、ItemProcessor はトランザクション処理に対応しています。つまり、チャンクスキャン中に再試行される項目ごとに再呼び出しされます。ロールバックされたトランザクションで生成された出力は破棄されます。これは安全なデフォルト設定です。なぜなら、書き込み側が失敗する前に出力項目を変更している可能性があるからです。たとえば、JPA エンティティは、失敗したフラッシュによって割り当てられた生成済み ID を保持しており、同じインスタンスを再度書き込むと、元の失敗を隠蔽する無関係な例外が発生して失敗します。
プロセッサーが高負荷で、書き込み失敗後にロールバックして再度書き込みしても安全な出力であれば、プロセッサーの出力をキャッシュして、processorNonTransactional() を使用したチャンクスキャン中に再利用できます。
@Bean
public Step step1(JobRepository jobRepository, PlatformTransactionManager transactionManager) {
return new StepBuilder("step1", jobRepository)
.<String, String>chunk(10).transactionManager(transactionManager)
.reader(itemReader())
.processor(expensiveItemProcessor())
.writer(itemWriter())
.faultTolerant()
.processorNonTransactional()
.skip(MyBusinessException.class)
.skipLimit(10)
.build();
} アイテムライターが渡されたアイテムを変更する場合は、 |