wget을 사용하여 웹 사이트 컨텐츠를 다운로드하고 있지만 wget은 파일을 하나씩 다운로드합니다.
4 개의 동시 연결을 사용하여 wget을 다운로드하려면 어떻게해야합니까?
답변
aria2를 사용하십시오.
aria2c -x 16 [url]
# |
# |
# |
# ----> the number of connections
나는 그것을 좋아한다 !!
답변
Wget은 파일 다운로드 속도를 높이기 위해 다중 소켓 연결을 지원하지 않습니다.
나는 우리가 gmarian 답변보다 조금 더 잘할 수 있다고 생각합니다.
올바른 방법은을 사용하는 것 aria2입니다.
aria2c -x 16 -s 16 [url]
# | |
# | |
# | |
# ---------> the number of connections here
답변
GNU 병렬은 아직 언급되지 않았으므로 다른 방법을 알려 드리겠습니다.
cat url.list | parallel -j 8 wget -O {#}.html {}
답변
해결책을 찾았습니다.
한 서버에서 다음 서버로 수천 개의 로그 파일을 다운로드하는 과정에서 갑자기 BSD에서 심각한 멀티 스레드 다운로드를 수행해야했습니다 .Wget을 사용하여이를 처리하는 가장 간단한 방법이었습니다. 조금 둘러 보면이 작은 덩어리로 이끌었습니다.
wget -r -np -N [url] & wget -r -np -N [url] & wget -r -np -N [url] & wget -r -np -N [url]
wget -r -np -N [url]필요한만큼 스레드를 반복하십시오 … 이것이 예쁘지 않고 확실히하는 더 좋은 방법이 있지만 빠르고 더러운 것을 원한다면 트릭을 수행해야합니다 …
참고 : 이 옵션 -N은 wget“최신”파일 만 다운로드하므로 서버에서 타임 스탬프가 변경되지 않으면 파일을 덮어 쓰거나 다시 다운로드 할 수 없습니다.
답변
이를 수행 할 수있는 다른 프로그램은 axel입니다.
axel -n <NUMBER_OF_CONNECTIONS> URL
기본 HTTP 인증의 경우
axel -n <NUMBER_OF_CONNECTIONS> "user:password@https://domain.tld/path/file.ext"
답변
새로운 (아직 출시되지 않은) 도구는 Mget 입니다. Wget에서 이미 알려진 많은 옵션이 있으며 자신의 응용 프로그램에 다운로드를 쉽게 포함시킬 수있는 라이브러리가 제공됩니다.
질문에 대답하려면 :
mget --num-threads=4 [url]
최신 정보
Mget은 많은 버그 수정 및 더 많은 기능 (예 : HTTP / 2 지원)을 가진 Wget2 로 개발되었습니다 .
--num-threads지금 --max-threads입니다.
답변
httrack을 사용하는 것이 좋습니다.
전의: httrack -v -w http://example.com/
기본적으로 8 개의 동시 연결로 미러를 수행합니다. Httrack에는 다양한 옵션이 있습니다. 보세요
