[unix] 파일의 처음 3 바이트 건너 뛰기

최근에 비슷한 일을해야했습니다. 현장 지원 문제를 돕고 있었으며 기술자가 변경을 할 때 실시간 도표를 볼 수 있도록해야했습니다. 데이터는 하루 종일 증가하는 이진 로그에 있습니다. 로그에서 데이터를 구문 분석하고 플롯 할 수있는 소프트웨어가 있지만 현재는 실시간이 아닙니다. 내가 한 것은 데이터 처리를 시작하기 전에 로그 크기를 캡처 한 다음 데이터를 처리하는 루프로 들어가고 각 패스는 아직 처리되지 않은 파일의 바이트로 새 파일을 만듭니다.

#!/usr/bin/env bash

# I named this little script hackjob.sh
# The purpose of this is to process an input file and load the results into
# a database. The file is constantly being update, so this runs in a loop
# and every pass it creates a new temp file with bytes that have not yet been
# processed.  It runs about 15 seconds behind real time so it's
# pseudo real time.  This will eventually be replaced by a real time
# queue based version, but this does work and surprisingly well actually.

set -x

# Current data in YYYYMMDD fomat
DATE=`date +%Y%m%d`

INPUT_PATH=/path/to/my/data
IFILE1=${INPUT_PATH}/${DATE}_my_input_file.dat

OUTPUT_PATH=/tmp
OFILE1=${OUTPUT_PATH}/${DATE}_my_input_file.dat

# Capture the size of the original file
SIZE1=`ls -l ${IFILE1} | awk '{print $5}'`

# Copy the original file to /tmp
cp ${IFILE1} ${OFILE1}

while :
do
    sleep 5

    # process_my_data.py ${OFILE1}
    rm ${OFILE1}
    # Copy IFILE1 to OFILE1 minus skipping the amount of data already processed
    dd skip=${SIZE1} bs=1 if=${IFILE1} of=${OFILE1}
    # Update the size of the input file
    SIZE1=`ls -l ${IFILE1} | awk '{print $5}'`

    echo

    DATE=`date +%Y%m%d`

done

답변

#!/usr/bin/env python3
import sys
with open(sys.argv[1],'rb') as fd:
    fd.seek(int(sys.argv[2]))
    for line in fd:
        print(line.decode().strip())

$ ./skip_bytes.py input.txt 3