[python] 파이썬과 BeautifulSoup을 사용하여 웹 페이지에서 링크를 검색

서버에서 제공하는 인코딩을 사용하여 BeautifulSoup 4 버전을 완성하기 위해 다음을 수행하십시오.

from bs4 import BeautifulSoup
import urllib.request

parser = 'html.parser'  # or 'lxml' (preferred) or 'html5lib', if installed
resp = urllib.request.urlopen("http://www.gpsbasecamp.com/national-parks")
soup = BeautifulSoup(resp, parser, from_encoding=resp.info().get_param('charset'))

for link in soup.find_all('a', href=True):
    print(link['href'])

또는 Python 2 버전 :

from bs4 import BeautifulSoup
import urllib2

parser = 'html.parser'  # or 'lxml' (preferred) or 'html5lib', if installed
resp = urllib2.urlopen("http://www.gpsbasecamp.com/national-parks")
soup = BeautifulSoup(resp, parser, from_encoding=resp.info().getparam('charset'))

for link in soup.find_all('a', href=True):
    print link['href']

그리고 사용 버전 requests라이브러리 로 작성, 파이썬 2와 3 모두에서 작동합니다 :

from bs4 import BeautifulSoup
from bs4.dammit import EncodingDetector
import requests

parser = 'html.parser'  # or 'lxml' (preferred) or 'html5lib', if installed
resp = requests.get("http://www.gpsbasecamp.com/national-parks")
http_encoding = resp.encoding if 'charset' in resp.headers.get('content-type', '').lower() else None
html_encoding = EncodingDetector.find_declared_encoding(resp.content, is_html=True)
encoding = html_encoding or http_encoding
soup = BeautifulSoup(resp.content, parser, from_encoding=encoding)

for link in soup.find_all('a', href=True):
    print(link['href'])

이 soup.find_all('a', href=True)호출은 속성 <a>이있는 모든 요소를 찾습니다 href. 속성이없는 요소는 건너 뜁니다.

BeautifulSoup 3는 2012 년 3 월 개발을 중단했습니다. 새로운 프로젝트는 항상 BeautifulSoup 4를 사용해야합니다.

바이트 에서 BeautifulSoup으로 HTML 디코딩을 남겨 두어야합니다 . 디코딩에 도움을주기 위해 HTTP 응답 헤더에있는 문자 세트를 BeautifulSoup에 알릴 수 있지만, 이는 잘못된 것으로 HTML 자체에 있는 헤더 정보 와 충돌 할 수 있으므로 <meta>위의 내용은 BeautifulSoup 내부 클래스 메소드 EncodingDetector.find_declared_encoding()를 사용하여 이러한 임베디드 인코딩 힌트는 잘못 구성된 서버보다 우선합니다.

로 requests1, response.encoding라틴어 1 속성 기본값 응답이있는 경우 text/*에는 characterset가 반환되지 않은 경우에도, MIME 형식을. 이는 HTTP RFC와 일치하지만 HTML 구문 분석과 함께 사용하면 고통스럽기 때문에 charsetContent-Type 헤더에 no 가 설정되어 있으면 해당 속성을 무시해야합니다 .

답변

import urllib
import lxml.html
connection = urllib.urlopen('http://www.nytimes.com')

dom =  lxml.html.fromstring(connection.read())

for link in dom.xpath('//a/@href'): # select the url in href for all a tags(links)
    print link

import urllib2
import BeautifulSoup

request = urllib2.Request("http://www.gpsbasecamp.com/national-parks")
response = urllib2.urlopen(request)
soup = BeautifulSoup.BeautifulSoup(response)
for a in soup.findAll('a'):
  if 'national-park' in a['href']:
    print 'found a url with national-park in the link'

import urllib2
from bs4 import BeautifulSoup

url = urllib2.urlopen("http://www.espncricinfo.com/").read()
soup = BeautifulSoup(url)

for line in soup.find_all('a'):
    print(line.get('href'))

import requests
import lxml.html

dom = lxml.html.fromstring(requests.get('http://www.nytimes.com').content)

[x for x in dom.xpath('//a/@href') if '//' in x and 'nytimes.com' not in x]

import urllib2
url="http://www.somewhere.com"
page=urllib2.urlopen(url)
data=page.read().split("</a>")
tag="<a href=\""
endtag="\">"
for item in data:
    if "<a href" in item:
        try:
            ind = item.index(tag)
            item=item[ind+len(tag):]
            end=item.index(endtag)
        except: pass
        else:
            print item[:end]