Spring Cloud Data Flow
2.7.0Cloud Foundry および Kubernetes 用のマイクロサービスベースのストリーミングおよびバッチデータ処理。
Spring Cloud Data Flow は、ストリーミングおよびバッチデータパイプライン用の複雑なトポロジを作成するツールを提供します。データパイプラインは、Spring Cloud Stream または Spring Cloud Task マイクロサービスフレームワークを使用して構築された Spring Boot アプリで構成されています。
Spring Cloud Data Flow は、ETL からインポート / エクスポート、イベントストリーミング、予測分析まで、さまざまなデータ処理ユースケースをサポートしています。
機能
Spring Cloud Data Flow サーバーは Spring Cloud Deployer: GitHub (英語) を使用して、Spring Cloud Stream または Spring Cloud Task アプリケーションで作成されたデータパイプラインを Cloud Foundry や Kubernetes などの最新のプラットフォームにデプロイします。
異なるミドルウェアまたはデータサービスを対象とするカスタム (英語) ストリームおよびタスクアプリケーションは、おなじみの Spring Boot スタイルのプログラミングモデルを使用して構築できます。
シンプルなストリームパイプライン DSL (英語) により、デプロイするアプリと出力と入力の接続方法を簡単に指定できます。合成タスク DSL (英語) は、一連のタスクアプリを有向グラフとして実行する必要がある場合に役立ちます。
ダッシュボード (英語) には、インタラクティブにデータパイプラインを構築するためのグラフィカルエディターと、デプロイ可能なアプリのビュー、および Wavefront (英語) 、Prometheus (英語) 、Influx DB (英語) 、またはその他のモニタリングシステムを使用してメトリクスでモニタリングするためのグラフィカルエディターが用意されています。
Spring Cloud Data Flow サーバーは、データパイプラインを作成およびデプロイするための REST API (英語) を公開します。別のシェル (英語) を使用すると、コマンドラインから API を簡単に操作できます。
入門
最近開始されたまったく新しい Spring Cloud Data Flow マイクロサイト (英語) は、始めるのに最適な場所です。
Spring Boot 構成
ドキュメント
2.7.0 CURRENT GA | リファレンスドキュメント (英語) | API ドキュメント (英語) |
2.8.0-SNAPSHOT SNAPSHOT | リファレンスドキュメント (英語) | API ドキュメント (英語) |
2.6.4 GA | リファレンスドキュメント (英語) | API ドキュメント (英語) |
2.5.3.RELEASE GA | リファレンスドキュメント (英語) | API ドキュメント (英語) |
2.4.2.RELEASE GA | リファレンスドキュメント (英語) | API ドキュメント (英語) |
2.3.1.RELEASE GA | リファレンスドキュメント (英語) | API ドキュメント (英語) |
例を試してみる:
- Twitter 分析 このデモンストレーションでは、Spring Cloud Data Flow を使用してデータパイプラインを構築し、TwitterStream からのデータを消費し、カウンターシンクアプリケーションを使用して転送中のデータに関する単純な分析を計算する方法を学習します。
- 予測分析 このデモでは、Spring Cloud Data Flow によって編成されたストリーミングデータパイプラインのコンテキストで PMML モデルを使用する方法を学習します。
- HTTP-> Cassandra このデモでは、Spring Cloud Data Flow を使用してデータパイプラインを構築し、HTTP エンドポイントからデータを消費し、ペイロードを Cassandra データベースに書き込む方法を学習します。
- HTTP-> MySQL このデモでは、Spring Cloud Data Flow を使用してデータパイプラインを構築し、http エンドポイントからデータを消費し、JDBC シンクを使用して MySQL データベースに書き込む方法を学習します。
- HTTP-> Gemfire このデモでは、Spring Cloud Data Flow を使用してデータパイプラインを構築し、http エンドポイントからデータを消費し、Gemfire/Geode/PCC シンクを使用して Gemfire に書き込む方法を学習します。
- CF/K8 でのバッチファイル取り込み このデモでは、Spring Cloud Data Flow 内で実行される Spring Batch を使用してデータ処理アプリケーションを作成する方法を学習します。
- SCDF、InfluxDB、メトリクス このデモンストレーションでは、Micrometer が InfluxDB と Grafana を使用して Spring Cloud Data Flow ストリームを監視する方法を学習します。
- SCDF、Prometheus、メトリクス このデモンストレーションでは、Micrometer が Prometheus と Grafana を使用して Spring Cloud Data Flow ストリームを監視する方法を学習します。