public interface HadoopConfigConfigurer
HadoopConfigConfigurer
は、SpringHadoopConfigurerAdapter
を介してユーザーに公開される HadoopConfigBuilder
のインターフェースです。 通常の構成は以下のようになります。
@Configuration @EnableHadoop static class Config extends SpringHadoopConfigurerAdapter { @Override public void configure(HadoopConfigConfigurer config) throws Exception { config .fileSystemUri("hdfs://foo.uri") .withResources() .resource("classpath:/test-site-1.xml") .resource("classpath:/test-site-2.xml") .and() .withProperties() .property("foo", "jee"); } }
修飾子と型 | メソッドと説明 |
---|---|
HadoopConfigConfigurer | fileSystemUri(java.lang.String uri) Hdfs ファイルシステム URI を指定します。 |
HadoopConfigConfigurer | jobHistoryAddress(java.lang.String address) MapReduce ジョブ履歴アドレスを指定します。 |
HadoopConfigConfigurer | loadDefaults(boolean loadDefaults) Hadoop Configuration が最初にデフォルト値に基づいているかどうかを指定します。 |
HadoopConfigConfigurer | resourceManagerAddress(java.lang.String address) Yarn リソースマネージャーのアドレスを指定します。 |
PropertiesConfigurer<HadoopConfigConfigurer> | withProperties() PropertiesConfigurer を使用して、構成オプションをプロパティとして指定します。 |
ResourceConfigurer<HadoopConfigConfigurer> | withResources() ResourceConfigurer を使用して、構成オプションをリソースプロパティとして指定します。 |
SecurityConfigurer<HadoopConfigConfigurer> | withSecurity() SecurityConfigurer を使用してセキュリティオプションを指定します。 |
ResourceConfigurer<HadoopConfigConfigurer> withResources() throws java.lang.Exception
ResourceConfigurer
を使用して、構成オプションをリソースプロパティとして指定します。public void configure(HadoopConfigConfigurer config) throws Exception { Properties props = new Properties(); config .withResources() .resource("cfg-1.properties") .resource("cfg-2.properties") .and(); }
<hadoop:configuration properties-location="cfg-1.properties, cfg-2.properties"/>
ResourceConfigurer
java.lang.Exception
- エラーが発生した場合 PropertiesConfigurer<HadoopConfigConfigurer> withProperties() throws java.lang.Exception
PropertiesConfigurer
を使用して、構成オプションをプロパティとして指定します。public void configure(HadoopConfigConfigurer config) throws Exception { Properties props = new Properties(); config .withProperties() .properties(props) .property("myKey1", ",myValue1") .and(); }
<util:properties id="props" location="props.properties"/> <prop key="myKey1">myValue1</prop> </util:properties> <hadoop:configuration properties-ref="props"/>
PropertiesConfigurer
java.lang.Exception
- エラーが発生した場合 SecurityConfigurer<HadoopConfigConfigurer> withSecurity() throws java.lang.Exception
SecurityConfigurer
を使用してセキュリティオプションを指定します。JavaConfig:
public void configure(HadoopConfigConfigurer config) throws Exception { config .withSecurity() .authMethod("kerberos") .namenodePrincipal("hdfs/myhost@LOCALDOMAIN") .rmManagerPrincipal("yarn/myhost@LOCALDOMAIN"); }
XML:
同等のものはありません
SecurityConfigurer
java.lang.Exception
- エラーが発生した場合 HadoopConfigConfigurer fileSystemUri(java.lang.String uri)
public void configure(HadoopConfigConfigurer config) throws Exception { config .fileSystemUri("hdfs://myhost:8020"); }
<hadoop:configuration file-system-uri="hdfs://myhost:8020"/>
uri
- Hdfs uri は HadoopConfigConfigurer
HadoopConfigConfigurer resourceManagerAddress(java.lang.String address)
public void configure(HadoopConfigConfigurer config) throws Exception { config .resourceManagerAddress("myRmHost:8032"); }
<hadoop:configuration rm-manager-uri="myRmHost:8032"/>
address
- Yarn リソースマネージャーアドレス HadoopConfigConfigurer
HadoopConfigConfigurer jobHistoryAddress(java.lang.String address)
public void configure(HadoopConfigConfigurer config) throws Exception { config .jobHistoryAddress("myJobHistoryHost:10020"); }
<hadoop:configuration job-history-uri="myJobHistoryHost:10020"/>
address
- Yarn リソースマネージャーアドレス HadoopConfigConfigurer
HadoopConfigConfigurer loadDefaults(boolean loadDefaults)
Configuration
が最初にデフォルト値に基づいているかどうかを指定します。デフォルトは true
です。public void configure(HadoopConfigConfigurer config) throws Exception { config .loadDefaults(true); }
loadDefaults
- デフォルトをロードするかどうかのフラグ HadoopConfigConfigurer