public abstract class AbstractSplitter extends java.lang.Object implements Splitter
Splitter 実装の基本クラス。| コンストラクターと説明 |
|---|
AbstractSplitter() 新しい抽象スプリッターをインスタンス化します。 |
AbstractSplitter(org.apache.hadoop.conf.Configuration configuration) 新しい抽象スプリッターをインスタンス化します。 |
| 修飾子と型 | メソッドと説明 |
|---|---|
protected Split | buildSplit(long start, long length, java.lang.String[] hosts) 分割を構築します。 |
protected long | computeSplitSize(long blockSize, long minSize, long maxSize) 分割サイズを計算します。 |
protected int | getBlockIndex(org.apache.hadoop.fs.BlockLocation[] blocks, long offset) ブロックインデックスを取得します。 |
org.apache.hadoop.conf.Configuration | getConfiguration()Hadoop 構成を取得します。 |
abstract java.util.List<Split> | getSplits(org.apache.hadoop.fs.Path path)Path の入力分割を取得します。 |
void | setConfiguration(org.apache.hadoop.conf.Configuration configuration) 構成を設定します。 |
public AbstractSplitter()
public AbstractSplitter(org.apache.hadoop.conf.Configuration configuration)
configuration - 構成 public abstract java.util.List<Split> getSplits(org.apache.hadoop.fs.Path path) throws java.io.IOException
SplitterPath の入力分割を取得します。パスは、分割のリストに分割できるリソースである必要があります。実際の実装では、分割が単一のファイルに強制されるか、ファイルのコレクションに強制されるかを定義します。public org.apache.hadoop.conf.Configuration getConfiguration()
@Autowired(required=false) public void setConfiguration(org.apache.hadoop.conf.Configuration configuration)
configuration - 新しい構成 protected long computeSplitSize(long blockSize,
long minSize,
long maxSize)blockSize - ブロックサイズ minSize - 最小サイズ maxSize - 最大サイズ protected int getBlockIndex(org.apache.hadoop.fs.BlockLocation[] blocks,
long offset)blocks - ブラックの場所 offset - オフセット java.lang.IllegalArgumentException - オフセットがブロック外の場合 protected Split buildSplit(long start, long length, java.lang.String[] hosts)
start - 開始 length - 長さ hosts - ホスト