[hadoop] Hadoop 프로세스 레코드는 블록 경계에서 어떻게 분할됩니까?

흥미로운 질문은 코드에서 세부 사항을 보는데 시간을 보냈으며 여기에 내 생각이 있습니다. 분할은 클라이언트가에서 처리 InputFormat.getSplits하므로 FileInputFormat을 살펴보면 다음 정보가 제공됩니다.

• 각 입력 파일에는 파일의 길이, 블록 크기를 얻을하고 분할 사이즈 계산 max(minSize, min(maxSize, blockSize))곳에 maxSize대응하는 mapred.max.split.size과 minSize이다 mapred.min.split.size.

• FileSplit위에서 계산 된 분할 크기에 따라 파일을 다른 s 로 분할합니다. 여기서 중요한 것은 각각 FileSplit이 start입력 파일의 오프셋에 해당 하는 매개 변수 로 초기화 된다는 것 입니다 . 그 시점에서 여전히 라인 처리가 없습니다. 코드의 관련 부분은 다음과 같습니다.

  while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {
    int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
    splits.add(new FileSplit(path, length-bytesRemaining, splitSize,
                             blkLocations[blkIndex].getHosts()));
    bytesRemaining -= splitSize;
  }
  

그 후에 LineRecordReader의해 정의 TextInputFormat된를 보면 라인이 처리됩니다.

• 당신이 초기화 할 때 LineRecordReader그것은 LineReader라인을 읽을 수 있도록 추상화 인 인스턴스화를 시도합니다 FSDataInputStream. 두 가지 경우가 있습니다.
• 이 경우 CompressionCodec정의,이 코덱은 경계를 처리 할 책임이있다. 아마도 귀하의 질문과 관련이 없습니다.

• 가지 흥미있는 곳이다 그러나 어떤 코덱이없는 경우 : 경우에 start당신이의 InputSplit0이 아닌 다른이, 당신은 1 개 문자를 역 추적 한 후하여 식별 발생하는 첫 번째 줄을 건너 \ 또는 \ R \ N (윈도우) N을 ! 역 추적은 선 경계가 분할 경계와 동일한 경우 유효한 선을 건너 뛰지 않도록하기 때문에 중요합니다. 다음은 관련 코드입니다.

  if (codec != null) {
     in = new LineReader(codec.createInputStream(fileIn), job);
     end = Long.MAX_VALUE;
  } else {
     if (start != 0) {
       skipFirstLine = true;
       --start;
       fileIn.seek(start);
     }
     in = new LineReader(fileIn, job);
  }
  if (skipFirstLine) {  // skip first line and re-establish "start".
    start += in.readLine(new Text(), 0,
                      (int)Math.min((long)Integer.MAX_VALUE, end - start));
  }
  this.pos = start;
  

따라서 분할이 클라이언트에서 계산되기 때문에 매퍼는 순서대로 실행할 필요가 없으며 모든 매퍼는 이미 첫 번째 줄을 버릴 것인지 여부를 알고 있습니다.

따라서 기본적으로 동일한 파일에 각 100Mb의 두 줄이 있고 단순화하기 위해 분할 크기가 64Mb라고 가정 해 보겠습니다. 그런 다음 입력 분할이 계산되면 다음과 같은 시나리오가됩니다.

• 이 블록에 대한 경로와 호스트를 포함하는 분할 1. 시작 200-200 = 0Mb, 길이 64Mb에서 초기화됩니다.
• 시작 200-200 + 64 = 64Mb, 길이 64Mb에서 분할 2가 초기화되었습니다.
• 시작 200-200 + 128 = 128Mb, 길이 64Mb에서 분할 3이 초기화되었습니다.
• 시작 200-200 + 192 = 192Mb, 길이 8Mb에서 분할 4가 초기화되었습니다.
• 매퍼 A는 분할 1을 처리하고 시작은 0이므로 첫 번째 줄을 건너 뛰지 말고 64Mb 제한을 초과하는 전체 줄을 읽으므로 원격 읽기가 필요합니다.
• 매퍼 B는 분할 2를 처리하고 시작은! = 0이므로 64Mb-1byte 이후의 첫 번째 줄은 건너 뜁니다. 이는 여전히 분할 2에있는 100Mb에서 행 1의 끝에 해당합니다. 분할 2에는 28Mb의 행이 있습니다. 원격은 나머지 72Mb를 읽습니다.
• 매퍼 C는 분할 3을 처리하고 시작은! = 0이므로 128Mb-1byte 뒤의 첫 번째 줄은 건너 뛰고, 이는 파일의 끝인 200Mb에서 줄 2의 끝에 해당하므로 아무것도하지 마십시오.
• 매퍼 D는 192Mb-1byte 이후에 개행을 찾는 것을 제외하고 매퍼 C와 동일합니다.

답변

// If this is not the first split, we always throw away first record
// because we always (except the last split) read one extra line in
// next() method.
if (start != 0) {
  start += in.readLine(new Text(), 0, maxBytesToConsume(start));
}
this.pos = start;