[node.js] Node.js에서 거대한 로그 파일 구문 분석-한 줄씩 읽기

나는 실제로 여기에서 정답이 될 자격이있는 @gerard 답변을 정말 좋아했습니다 . 몇 가지 개선했습니다.

• 코드가 클래스에 있음 (모듈 식)
• 구문 분석이 포함됩니다.
• DB에 삽입 또는 HTTP 요청과 같은 CSV 읽기에 연결된 비동기 작업이있는 경우 재개 할 수있는 기능이 외부에 부여됩니다.
• 사용자가 선언 할 수있는 청크 / 배치 크기로 읽기. 다른 인코딩의 파일이있는 경우를 대비하여 스트림에서 인코딩도 처리했습니다.

코드는 다음과 같습니다.

'use strict'

const fs = require('fs'),
    util = require('util'),
    stream = require('stream'),
    es = require('event-stream'),
    parse = require("csv-parse"),
    iconv = require('iconv-lite');

class CSVReader {
  constructor(filename, batchSize, columns) {
    this.reader = fs.createReadStream(filename).pipe(iconv.decodeStream('utf8'))
    this.batchSize = batchSize || 1000
    this.lineNumber = 0
    this.data = []
    this.parseOptions = {delimiter: '\t', columns: true, escape: '/', relax: true}
  }

  read(callback) {
    this.reader
      .pipe(es.split())
      .pipe(es.mapSync(line => {
        ++this.lineNumber

        parse(line, this.parseOptions, (err, d) => {
          this.data.push(d[0])
        })

        if (this.lineNumber % this.batchSize === 0) {
          callback(this.data)
        }
      })
      .on('error', function(){
          console.log('Error while reading file.')
      })
      .on('end', function(){
          console.log('Read entirefile.')
      }))
  }

  continue () {
    this.data = []
    this.reader.resume()
  }
}

module.exports = CSVReader

따라서 기본적으로 사용 방법은 다음과 같습니다.

let reader = CSVReader('path_to_file.csv')
reader.read(() => reader.continue())

나는 이것을 35GB CSV 파일로 테스트했으며 저에게 효과적이었습니다. 그래서 @gerard 의 답변 을 기반으로 작성하기로 결정했으며 피드백을 환영합니다.

답변

    const LineByLineReader = require('line-by-line'),
    lr = new LineByLineReader('big_file.txt');

    lr.on('error', function (err) {
         // 'err' contains error object
    });

    lr.on('line', function (line) {
        // pause emitting of lines...
        lr.pause();

        // ...do your asynchronous line processing..
        setTimeout(function () {
            // ...and continue emitting lines.
            lr.resume();
        }, 100);
    });

    lr.on('end', function () {
         // All lines are read, file is closed now.
    });

var offset = 0;
var chunkSize = 2048;
var chunkBuffer = new Buffer(chunkSize);
var fp = fs.openSync('filepath', 'r');
var bytesRead = 0;
while(bytesRead = fs.readSync(fp, chunkBuffer, 0, chunkSize, offset)) {
    offset += bytesRead;
    var str = chunkBuffer.slice(0, bytesRead).toString();
    var arr = str.split('\n');

    if(bytesRead = chunkSize) {
        // the last item of the arr may be not a full line, leave it to the next chunk
        offset -= arr.pop().length;
    }
    lines.push(arr);
}
console.log(lines);

const fs = require('fs');
const readline = require('readline');

const rl = readline.createInterface({
    input: fs.createReadStream('sample.txt'),
    crlfDelay: Infinity
});

rl.on('line', (line) => {
    console.log(`Line from file: ${line}`);
});

var fetchBlock = lineByline(filepath, onEnd);
fetchBlock(function(lines, start){ ... });  //lines{array} start{int} lines[0] No.