閉じる

Spring for Apache Hadoop

2.5.0.RELEASE

注 : Apache Hadoop プロジェクトの Spring は、2019 年 4 月 5 日にサポート終了となります。その時点まで必要に応じて、2.5.x メンテナンスリリースを随時公開し、プロジェクトを屋根裏に移動します。Apache Hadoop の現在の Spring 2.5.0 リリースは、Apache Hadoop バージョン 2.7.3 を使用して構築されており、最も人気のある Hadoop ディストリビューションの最新リリースと互換性があるはずです。

導入

Apache Hadoop 用の Spring は、HDFS、MapReduce、Pig、および Hive を使用するための統合構成モデルと使いやすい API を提供することにより、Apache Hadoop の開発を簡素化します。また、Spring Integration や Spring Batch などの他の Spring エコシステムプロジェクトとの統合を提供し、ビッグデータの取り込み / エクスポートおよび Hadoop ワークフローオーケストレーションのソリューションを開発できるようにします。

Apache Hadoop での Spring の使用に関するいくつかの章を含む O'Reilly Media Spring Data: エンタープライズ Java の最新のデータアクセス (英語) の本を参照してください。本のサンプルコードは、GitHub プロジェクト spring-data-book (GitHub) でも入手できます。

機能

  • 依存関係注入を使用して構成され、標準 Java アプリケーションとして実行される Hadoop アプリケーションと、Hadoop コマンドラインユーティリティを使用する Hadoop アプリケーションの作成のサポート。

  • Spring Boot との統合により、HDFS に接続してデータの読み書きを行う Spring アプリを簡単に作成できます。

  • Java MapReduce、ストリーミング、Hive、Pig、または HBase を使用するアプリケーションを作成および構成する

  • Spring Batch の拡張機能。あらゆるタイプの Hadoop ジョブまたは HDFS 操作用の Hadoop ベースのワークフローの作成をサポートします。

  • JVM ベースのスクリプト言語を使用して HDFS 操作をスクリプト化します。

  • YARN で実行するためにデプロイできるカスタム Spring Boot ベースのアプリケーションを簡単に作成します。

  • HBase の DAO サポート(テンプレートとコールバック)。

  • Hadoop セキュリティのサポート。

バージョンと配布のサポート

Apache の Spring Hadoop は、多くの Apache リリースと、Pivotal、Hortonworks、Cloudera の有償ディストリビューションをサポートしています。

サポートされるディストリビューションはリリースバージョンによって異なります。詳細については、Wiki ページ (GitHub) を参照してください。

また、Maven ビルドの詳細については、Wiki ページ (GitHub) を参照してください。

サポートされているほとんどのバージョンの継続的統合ビルドは、ビルドページで確認できます (英語)

Spring Boot 構成

<dependencies>
    <dependency>
        <groupId>org.springframework.data</groupId>
        <artifactId>spring-data-hadoop</artifactId>
        <version>2.5.0.RELEASE</version>
    </dependency>
</dependencies>
Spring Initializr

プロジェクトのクイックスタート

Spring Initializr (英語) を使用してアプリケーションをブートストラップします。

ドキュメント

Spring プロジェクト別に用意されています。プロジェクトの機能を使用する方法と、それを使用して達成できることを詳細に説明しています。
2.5.0.RELEASE CURRENT GA リファレンスドキュメント (英語) API ドキュメント (英語)
2.5.1.BUILD-SNAPSHOT SNAPSHOT リファレンスドキュメント (英語) API ドキュメント (英語)

例を試してみる: