コンストラクターの詳細

• AbstractResourceLocalizer

  public AbstractResourceLocalizer(org.apache.hadoop.conf.Configuration configuration)

  新しい抽象リソースローカライザーをインスタンス化します。

  パラメーター:

  configuration - 構成

• AbstractResourceLocalizer

  public AbstractResourceLocalizer(org.apache.hadoop.conf.Configuration configuration,
                           org.apache.hadoop.fs.Path stagingDirectory)

  新しい抽象リソースローカライザーをインスタンス化します。

  パラメーター:

  configuration - 構成

  stagingDirectory - ステージングディレクトリ

メソッドの詳細

• getResources

  public java.util.Map<java.lang.String,org.apache.hadoop.yarn.api.records.LocalResource> getResources()

  インターフェースからコピーされた説明: ResourceLocalizer
  LocalResource インスタンスのマップを取得します。LocalResource の基礎となるインスタンスは、リソースサイズとタイムスタンプを含めて完全に初期化する必要があります。

  このメソッドを呼び出すと、LocalResource を返すために必要なすべての準備作業が実行されます。

  次で指定:

  インターフェース ResourceLocalizer の getResources 

  戻り値:

  LocalResource インスタンスを含むマップ

• copy

  public void copy()

  インターフェースからコピーされた説明: SmartResourceLocalizer
  リソースローカライザーがファイルをファイルシステムにコピーする知識を持っている場合、このメソッドを呼び出すと、その特定の機能のすべてのタスクが効果的に実行されるはずです。

  次で指定:

  インターフェース SmartResourceLocalizer の copy 

• distribute

  public void distribute()

  インターフェースからコピーされた説明: SmartResourceLocalizer
  基礎となる実装がファイルシステムでの操作やその他の準備作業を実行する必要がある場合、このメソッドを呼び出すと、実装は ResourceLocalizer.getResources() コマンドからリソースを返す準備が整います。

  実質的に、このメソッドを呼び出した場合の結果は、SmartResourceLocalizer.copy() メソッドと SmartResourceLocalizer.resolve() メソッドの両方を手動で呼び出した場合と同じになります。

  次で指定:

  インターフェース SmartResourceLocalizer の distribute 

• resolve

  public void resolve()

  インターフェースからコピーされた説明: SmartResourceLocalizer
  配布プロセスが開始される前に、リソースを手動で解決します。この方法の使用は常にオプションであり、まだ実行されていない場合は配布前に実行する必要があります。

  次で指定:

  インターフェース SmartResourceLocalizer の resolve 

• clean

  public boolean clean()

  インターフェースからコピーされた説明: SmartResourceLocalizer
  配布プロセス中に作成されたすべての残りをクリーンアップします。これらは、ステージングディレクトリ内のファイルなどです。

  次で指定:

  インターフェース SmartResourceLocalizer の clean 

  戻り値:

  クリーンアップが試行され成功した場合は true

• setStagingDirectory

  public void setStagingDirectory(org.apache.hadoop.fs.Path stagingDirectory)

  インターフェースからコピーされた説明: SmartResourceLocalizer
  ステージングディレクトリを設定します。設定されていない場合、パスは実装によって決定されます。デフォルト値は、ユーザーの Hadoop ホームディレクトリなどになります。

  次で指定:

  インターフェース SmartResourceLocalizer の setStagingDirectory 

  パラメーター:

  stagingDirectory - 新しいステージングディレクトリ

• setStagingId

  public void setStagingId(java.lang.String stagingId)

  インターフェースからコピーされた説明: SmartResourceLocalizer
  ステージング ID を設定します。ID は、SmartResourceLocalizer.setStagingDirectory(Path) に設定された Path と一緒に使用され、一意のランタイムステージングパスを修正します。設定されていない場合、同じアプリケーションの同時インスタンスによってファイルが上書きされる可能性があります。

  次で指定:

  インターフェース SmartResourceLocalizer の setStagingId 

  パラメーター:

  stagingId - 新しいステージング ID

• getConfiguration

  public org.apache.hadoop.conf.Configuration getConfiguration()

  Hadoop 構成を取得します。

  戻り値:

  Hadoop の設定

• getLock

  public java.util.concurrent.locks.ReentrantLock getLock()

  ロックを取得します。

  戻り値:

  ロック

• doFileCopy

  protected abstract void doFileCopy(org.apache.hadoop.fs.FileSystem fs)
                              throws java.lang.Exception

  ファイルのコピーを実行します。

  パラメーター:

  fs - FS

  例外:

  java.lang.Exception - 例外

• doFileTransfer

  protected abstract java.util.Map<java.lang.String,org.apache.hadoop.yarn.api.records.LocalResource> doFileTransfer(org.apache.hadoop.fs.FileSystem fs)
                                                                                                              throws java.lang.Exception

  ファイル転送を行います。

  パラメーター:

  fs - FS

  戻り値:

  地図

  例外:

  java.lang.Exception - 例外

• isDistributed

  protected boolean isDistributed()

  配布されているかどうかを確認します。

  戻り値:

  配布されている場合は true

• setDistributed

  protected void setDistributed(boolean distributed)

  配布を設定します。

  パラメーター:

  distributed - 新しい分散

• isCopied

  protected boolean isCopied()

  コピーされているかどうかを確認します。

  戻り値:

  コピーされた場合は true

• setCopied

  protected void setCopied(boolean copied)

  コピーしたものを設定します。

  パラメーター:

  copied - 新しいコピー

• resolveStagingDirectory

  protected org.apache.hadoop.fs.Path resolveStagingDirectory()

  ランタイムステージングディレクトリを解決します。

  戻り値:

  ランタイム stagind ディレクトリの解決されたパス

• deleteStagingEntries

  protected boolean deleteStagingEntries()

  ステージングエントリを削除します。

  戻り値:

  成功した場合は true