[python] 파이썬을 사용하여 HTTP를 통해 파일을 어떻게 다운로드합니까?

PYTHON / 글쓴이

일정에 따라 웹 사이트에서 MP3 파일을 다운로드 한 다음 iTunes에 추가 한 팟 캐스트 XML 파일을 빌드 / 업데이트하는 데 사용하는 작은 유틸리티가 있습니다.

XML 파일을 작성 / 업데이트하는 텍스트 처리는 Python으로 작성됩니다. 그러나 Windows .bat파일 내부에서 wget을 사용 하여 실제 MP3 파일을 다운로드합니다. 전체 유틸리티를 파이썬으로 작성하는 것을 선호합니다.

내가 사용에 의존 왜 이렇게, 실제로 파이썬에서 파일을 다운로드 할 수있는 방법을 찾기 위해 노력 wget.

그렇다면 파이썬을 사용하여 파일을 어떻게 다운로드합니까?

답변

Python 2에서는 표준 라이브러리와 함께 제공되는 urllib2를 사용하십시오.

import urllib2
response = urllib2.urlopen('http://www.example.com/')
html = response.read()

이것은 오류 처리를 제외한 라이브러리를 사용하는 가장 기본적인 방법입니다. 헤더 변경과 같은 더 복잡한 작업을 수행 할 수도 있습니다. 설명서는 여기 에서 찾을 수 있습니다.

답변

하나 더 urlretrieve:

import urllib
urllib.urlretrieve ("http://www.example.com/songs/mp3.mp3", "mp3.mp3")

(Python 3 이상 사용 import urllib.request및 urllib.request.urlretrieve)

“진행률 표시 줄”이있는 또 하나

import urllib2

url = "http://download.thinkbroadband.com/10MB.zip"

file_name = url.split('/')[-1]
u = urllib2.urlopen(url)
f = open(file_name, 'wb')
meta = u.info()
file_size = int(meta.getheaders("Content-Length")[0])
print "Downloading: %s Bytes: %s" % (file_name, file_size)

file_size_dl = 0
block_sz = 8192
while True:
    buffer = u.read(block_sz)
    if not buffer:
        break

    file_size_dl += len(buffer)
    f.write(buffer)
    status = r"%10d  [%3.2f%%]" % (file_size_dl, file_size_dl * 100. / file_size)
    status = status + chr(8)*(len(status)+1)
    print status,

f.close()

답변

2012 년에는 Python 요청 라이브러리를 사용하십시오.

>>> import requests
>>>
>>> url = "http://download.thinkbroadband.com/10MB.zip"
>>> r = requests.get(url)
>>> print len(r.content)
10485760

당신은 pip install requests그것을 얻기 위해 실행할 수 있습니다 .

API는 훨씬 단순하기 때문에 요청은 대안에 비해 많은 장점이 있습니다. 인증을 수행해야하는 경우 특히 그렇습니다. 이 경우 urllib 및 urllib2는 매우 직관적이지 않고 고통 스럽습니다.

2015-12-30

사람들은 진행률 표시 줄에 감탄을 표명했습니다. 멋지다. 현재 다음과 같은 몇 가지 상용 솔루션이 있습니다 tqdm.

from tqdm import tqdm
import requests

url = "http://download.thinkbroadband.com/10MB.zip"
response = requests.get(url, stream=True)

with open("10MB", "wb") as handle:
    for data in tqdm(response.iter_content()):
        handle.write(data)

이것은 본질적으로 30 개월 전에 설명한 @kvance 구현입니다.

답변

import urllib2
mp3file = urllib2.urlopen("http://www.example.com/songs/mp3.mp3")
with open('test.mp3','wb') as output:
  output.write(mp3file.read())

wb에서이 open('test.mp3','wb')파일을 열고 (기존의 모든 파일을 삭제합니다) 당신은 단지 텍스트 대신 그것으로 데이터를 저장할 수 있도록 바이너리 모드로.

답변

파이썬 3

  • urllib.request.urlopen

    import urllib.request
response = urllib.request.urlopen('http://www.example.com/')
html = response.read()

  • urllib.request.urlretrieve

    import urllib.request
urllib.request.urlretrieve('http://www.example.com/songs/mp3.mp3', 'mp3.mp3')

    참고 : 설명서에 따르면 urllib.request.urlretrieve“레거시 인터페이스”이며 “향후 사용되지 않을 수 있습니다”( gerrit 감사합니다 )

파이썬 2

답변

wget 모듈 사용 :

import wget
wget.download('url')

답변

Python 2/3 용 개선 된 PabloG 코드 버전 :

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from __future__ import ( division, absolute_import, print_function, unicode_literals )

import sys, os, tempfile, logging

if sys.version_info >= (3,):
    import urllib.request as urllib2
    import urllib.parse as urlparse
else:
    import urllib2
    import urlparse

def download_file(url, dest=None):
    """
    Download and save a file specified by url to dest directory,
    """
    u = urllib2.urlopen(url)

    scheme, netloc, path, query, fragment = urlparse.urlsplit(url)
    filename = os.path.basename(path)
    if not filename:
        filename = 'downloaded.file'
    if dest:
        filename = os.path.join(dest, filename)

    with open(filename, 'wb') as f:
        meta = u.info()
        meta_func = meta.getheaders if hasattr(meta, 'getheaders') else meta.get_all
        meta_length = meta_func("Content-Length")
        file_size = None
        if meta_length:
            file_size = int(meta_length[0])
        print("Downloading: {0} Bytes: {1}".format(url, file_size))

        file_size_dl = 0
        block_sz = 8192
        while True:
            buffer = u.read(block_sz)
            if not buffer:
                break

            file_size_dl += len(buffer)
            f.write(buffer)

            status = "{0:16}".format(file_size_dl)
            if file_size:
                status += "   [{0:6.2f}%]".format(file_size_dl * 100 / file_size)
            status += chr(13)
            print(status, end="")
        print()

    return filename

if __name__ == "__main__":  # Only run if this file is called directly
    print("Testing with 10MB download")
    url = "http://download.thinkbroadband.com/10MB.zip"
    filename = download_file(url)
    print(filename)