[unicode] awk를 사용하여 바이트 순서 표시 제거

Program / 글쓴이

BOMawk 을 제거 하는 스크립트 (아마 한 줄짜리)는 어떻게 생겼습니까?

사양:

  • 첫 번째 ( NR > 1) 이후의 모든 행을 인쇄합니다.
  • 첫 번째 줄 : #FE #FF또는로 시작하는 경우 #FF #FE제거하고 나머지를 인쇄합니다.

답변

이 시도:

awk 'NR==1{sub(/^\xef\xbb\xbf/,"")}{print}' INFILE > OUTFILE

첫 번째 레코드 (행)에서 BOM 문자를 제거하십시오. 모든 기록을 인쇄합니다.

또는 awk의 기본 작업이 레코드를 인쇄하는 것이라는 지식을 사용하면 약간 더 짧습니다.

awk 'NR==1{sub(/^\xef\xbb\xbf/,"")}1' INFILE > OUTFILE

1 항상 참으로 평가되는 가장 짧은 조건이므로 각 레코드가 인쇄됩니다.

즐겨!

-부록-

유니 코드 BOM (Byte Order Mark) FAQ 에는 각 인코딩에 대한 정확한 BOM 바이트가 나열된 다음 표가 포함되어 있습니다.

Bytes         |  Encoding Form
--------------------------------------
00 00 FE FF   |  UTF-32, big-endian
FF FE 00 00   |  UTF-32, little-endian
FE FF         |  UTF-16, big-endian
FF FE         |  UTF-16, little-endian
EF BB BF      |  UTF-8

따라서 위 표에서 BOM 바이트에 \xef\xbb\xbf해당하는 방법을 확인할 수 있습니다 EF BB BF UTF-8.

답변

GNU 사용 sed(Linux 또는 Cygwin) :

# Removing BOM from all text files in current directory:
sed -i '1 s/^\xef\xbb\xbf//' *.txt

FreeBSD에서 :

sed -i .bak '1 s/^\xef\xbb\xbf//' *.txt

GNU 또는 FreeBSD 사용의 장점 sed: -i매개 변수는 “제자리”를 의미하며 리디렉션이나 이상한 속임수없이 파일을 업데이트합니다.

Mac :

awk다른 답변 의이 솔루션은 작동 하지만 sed위 의 명령은 작동하지 않습니다. 적어도 Mac (Sierra) sed문서에서는 16 진수 이스케이프 ala 지원에 대해 언급하지 않습니다 \xef.

moreutils 에서 sponge도구 로 파이핑하여 모든 프로그램에서 유사한 트릭을 얻을 수 있습니다 .

awk '…' INFILE | sponge INFILE

답변

어색하지는 않지만 더 간단합니다.

tail -c +4 UTF8 > UTF8.nobom

BOM을 확인하려면 :

hd -n 3 UTF8

BOM이있는 경우 다음이 표시됩니다. 00000000 ef bb bf ...

답변

CRLF 줄 끝을 LF로 변환하는 것 외에도 dos2unixBOM도 제거합니다.

dos2unix *.txt

dos2unix 또한 BOM이있는 UTF-16 파일 (BOM이없는 UTF-16 파일은 아님)을 BOM이없는 UTF-8로 변환합니다.

$ printf '\ufeffä\n'|iconv -f utf-8 -t utf-16be>bom-utf16be
$ printf '\ufeffä\n'|iconv -f utf-8 -t utf-16le>bom-utf16le
$ printf '\ufeffä\n'>bom-utf8
$ printf 'ä\n'|iconv -f utf-8 -t utf-16be>utf16be
$ printf 'ä\n'|iconv -f utf-8 -t utf-16le>utf16le
$ printf 'ä\n'>utf8
$ for f in *;do printf '%11s %s\n' $f $(xxd -p $f);done
bom-utf16be feff00e4000a
bom-utf16le fffee4000a00
   bom-utf8 efbbbfc3a40a
    utf16be 00e4000a
    utf16le e4000a00
       utf8 c3a40a
$ dos2unix -q *
$ for f in *;do printf '%11s %s\n' $f $(xxd -p $f);done
bom-utf16be c3a40a
bom-utf16le c3a40a
   bom-utf8 c3a40a
    utf16be 00e4000a
    utf16le e4000a00
       utf8 c3a40a

답변

나는 그 질문이 유닉스 / 리눅스에 관한 것이라는 것을 알고 있으며, 유닉스에 도전하는 사람들에게 좋은 옵션을 언급 할 가치가 있다고 생각했습니다.

WordPress 프로젝트에서 동일한 문제가 발생했으며 (BOM이 rss 피드 및 페이지 유효성 검사에 문제를 일으켰습니다) BOM에있는 파일을 찾기 위해 상당히 큰 디렉토리 트리의 모든 파일을 조사해야했습니다. Replace Pioneer 라는 응용 프로그램을 찾았 습니다.

Batch Runner-> Search (하위 폴더의 모든 파일 찾기)-> Replace Template-> Binary remove BOM (준비된 검색 및 교체 템플릿이 있습니다).

가장 우아한 솔루션은 아니었고 프로그램을 설치해야하는 단점이있었습니다. 하지만 내 주변에서 무슨 일이 일어나고 있는지 알아 내자 매력처럼 작동했습니다 (BOM이 포함 된 약 2300 개 파일 중 3 개 파일을 찾았습니다).

답변