[unix] 디렉토리 내용의 MD5 합계를 하나의 합계로 얻으려면 어떻게합니까?

체크섬은 파일을 문자열로 결정적이고 명확하게 표현해야합니다. 결정 론적이란 동일한 위치에 동일한 파일을 배치하면 동일한 결과를 얻을 수 있음을 의미합니다. 명백한 것은 두 개의 서로 다른 파일 세트가 서로 다른 표현을 가지고 있음을 의미합니다.

데이터 및 메타 데이터

파일을 포함하는 아카이브를 만드는 것이 좋습니다. 이것은 명백한 표현입니다 (아카이브를 추출하여 파일을 복구 할 수 있기 때문에). 날짜 및 소유권과 같은 파일 메타 데이터를 포함 할 수 있습니다. 그러나 이것은 아직 옳지 않습니다. 아카이브는 파일이 저장된 순서와 압축에 적용 가능한 경우에 따라 다르기 때문에 모호합니다.

해결책은 파일 이름을 아카이브하기 전에 정렬하는 것입니다. 파일 이름에 줄 바꿈이 포함되어 있지 않으면 파일 find | sort을 나열하여 순서대로 아카이브에 추가 할 수 있습니다. 아카이버에게 디렉토리로 돌아 가지 않도록주의하십시오. POSIX pax, GNU tar 및 cpio의 예는 다음과 같습니다 .

find | LC_ALL=C sort | pax -w -d | md5sum
find | LC_ALL=C sort | tar -cf - -T - --no-recursion | md5sum
find | LC_ALL=C sort | cpio -o | md5sum

이름과 내용 만, 최첨단 방식

메타 데이터가 아닌 파일 데이터 만 고려하려는 경우 파일 내용 만 포함하는 아카이브를 만들 수 있지만이를위한 표준 도구는 없습니다. 파일 내용을 포함하는 대신 파일의 해시를 포함시킬 수 있습니다. 파일 이름에 줄 바꿈이없고 일반 파일과 디렉토리 만있는 경우 (심볼릭 링크 나 특수 파일이없는 경우) 매우 쉽지만 몇 가지 사항을주의해야합니다.

{ export LC_ALL=C;
  find -type f -exec wc -c {} \; | sort; echo;
  find -type f -exec md5sum {} + | sort; echo;
  find . -type d | sort; find . -type d | sort | md5sum;
} | md5sum

빈 디렉토리는 보이지 않으므로 체크섬 목록과 함께 디렉토리 목록을 포함합니다. 파일 목록이 정렬되어 있습니다 (Peter.O 덕분에 특정 재현 가능한 로케일로). echo두 부분을 분리합니다 (이것없이 md5sum일반 파일을 전달할 수있는 출력 처럼 보이는 빈 디렉토리를 만들 수 있습니다). 길이 확장 공격 을 피하기 위해 파일 크기 목록도 포함합니다 .

그건 그렇고, MD5는 더 이상 사용되지 않습니다. 사용 가능한 경우 SHA-2 또는 SHA-1 이상을 사용하십시오.

이름의 개행을 지원하는 이름과 데이터

다음은 GNU 도구를 사용하여 파일 이름을 null 바이트로 구분하는 위의 코드 변형입니다. 이렇게하면 파일 이름에 줄 바꾸기가 포함될 수 있습니다. GNU 다이제스트 유틸리티는 출력에서 ​​특수 문자를 인용하므로 모호한 줄 바꿈이 없습니다.

{ export LC_ALL=C;
  du -0ab | sort -z; # file lengths, including directories (with length 0)
  echo | tr '\n' '\000'; # separator
  find -type f -exec sha256sum {} + | sort -z; # file hashes
  echo | tr '\n' '\000'; # separator
  echo "End of hashed data."; # End of input marker
} | sha256sum

보다 강력한 접근법

다음은 파일 계층 구조를 설명하는 해시를 빌드하는 최소한의 테스트를 거친 Python 스크립트입니다. 디렉토리 및 파일 내용을 고려하고 기호 링크 및 기타 파일을 무시하고 파일을 읽을 수 없으면 치명적인 오류를 반환합니다.

#! /usr/bin/env python
import hashlib, hmac, os, stat, sys
## Return the hash of the contents of the specified file, as a hex string
def file_hash(name):
    f = open(name)
    h = hashlib.sha256()
    while True:
        buf = f.read(16384)
        if len(buf) == 0: break
        h.update(buf)
    f.close()
    return h.hexdigest()
## Traverse the specified path and update the hash with a description of its
## name and contents
def traverse(h, path):
    rs = os.lstat(path)
    quoted_name = repr(path)
    if stat.S_ISDIR(rs.st_mode):
        h.update('dir ' + quoted_name + '\n')
        for entry in sorted(os.listdir(path)):
            traverse(h, os.path.join(path, entry))
    elif stat.S_ISREG(rs.st_mode):
        h.update('reg ' + quoted_name + ' ')
        h.update(str(rs.st_size) + ' ')
        h.update(file_hash(path) + '\n')
    else: pass # silently symlinks and other special files
h = hashlib.sha256()
for root in sys.argv[1:]: traverse(h, root)
h.update('end\n')
print h.hexdigest()

답변

diff -qr dir1 dir2

> md5deep -r -l . | sort | md5sum
d43417958e47758c6405b5098f151074 *-

find -s somedir -type f -exec md5sum {} \; | cut -d" " -f1 | md5sum

$ pip install checksumdir
$ checksumdir -a md5 assets/js
981ac0bc890de594a9f2f40e00f13872
$ checksumdir -a sha1 assets/js
88cd20f115e31a1e1ae381f7291d0c8cd3b92fad