[unix] 대용량 파일 (~ 20GB)을 복사하는 cp에 대한 빠른 대안이 있습니까?

복사하는 동안 % CPU 가 낮아야합니다. CPU는 디스크 컨트롤러에 “섹터 XY의 데이터를 Z의 메모리 버퍼로 가져옵니다”라고 지시합니다. 그런 다음 다른 것을 수행합니다 (또는 아무것도 없으면 잠자기). 데이터가 메모리에 있으면 하드웨어가 인터럽트를 트리거합니다. 그런 다음 CPU는이를 몇 번 복사해야하며 네트워크 카드에 “메모리 위치 A, B 및 C에서 패킷을 전송합니다”라고 알려줍니다. 그런 다음 다른 일로 돌아갑니다.

~ 240mbps를 추진하고 있습니다. 기가비트 LAN에서는 800mbps 이상을 수행 할 수 있어야합니다.

1. 그것은 파일 서버를 사용하는 모든 사람과 공유 할 수 있습니다.
2. 이는 파일 서버가 쓰기를 처리 할 수있는 속도에 의해 제한되며 디스크 I / O 대역폭은 모든 사용자가 공유합니다.
3. 파일 서버 (NFS, CIFS (Samba), AFS 등)에 액세스하는 방법을 지정하지 않았습니다. 네트워크 마운트를 조정해야 할 수도 있지만 절반 정도는 기본값이 보통입니다.

병목 현상을 추적 iostat -kx 10하는 데 유용한 명령이 될 것입니다. 로컬 하드 디스크의 활용도를 보여줍니다. 파일 서버에서이 파일을 실행할 수 있으면 파일 서버 사용량이 얼마나되는지 알려줍니다.

일반적인 해결책은 병목 현상을 가속화하는 것입니다. 물론 예산이 없습니다. 그러나 더 빠른 접근 방법을 찾을 수있는 몇 가지 특별한 경우가 있습니다.

• 파일을 압축 할 수 있고 빠른 CPU가있는 경우, 최소한의 압축 작업 이 더 빠를 수 있습니다. 뭔가 lzop또는 어쩌면 gzip --fastest.
• 여기저기서 약간의 비트 만 변경 한 다음 파일을 다시 보내면 델타 전송 만 훨씬 빨라집니다. 불행히도 rsync델타를 찾으려면 양쪽에서 파일을 읽어야하기 때문에 실제로 도움이되지 않습니다. 대신 파일을 변경할 때 델타를 추적하는 무언가가 필요합니다 … 여기의 대부분의 접근 방식은 앱마다 다릅니다. 그러나 device-mapper (새로운 dm-era target 참조 ) 또는 btrfs 와 같은 것을 조작 할 수 있습니다.
• 동일한 데이터를 여러 머신에 복사하는 경우 udpcast와 같은 것을 사용하여 한 번에 모든 머신에 전송할 수 있습니다.

그리고 당신은 sysadmin이 아니라는 것을 알고 있기 때문에 sysadmin을 가지고 있다고 생각합니다. 또는 적어도 파일 서버 및 네트워크를 담당하는 사람. 당신은 아마 그 / 그녀 / 그들에게 물어볼 것입니다, 그들은 당신의 설정의 세부 사항에 훨씬 익숙해야합니다. 시스템 관리자는 적어도 어느 정도의 전송 속도를 기대할 수 있는지 알려줄 수 있어야합니다.

답변

scp -C you@server:/path/to/yourfile .

- for all blocks in a file
      read a block
      write a block

  buffer -i infile -o outfile -m size-of-shared-memory-default-1MByte