자바 스크립트로 생성 된 콘텐츠를 DOM에서 렌더링해야하므로 올바른 결과를 얻지 못했습니다. HTML 페이지를 가져올 때 자바 스크립트 DOM에 의해 수정되지 않은 초기를 가져옵니다.

따라서 페이지를 크롤링하기 전에 자바 스크립트 컨텐츠를 렌더링해야합니다.

이 스레드에서 셀레늄이 이미 여러 번 언급되었으므로 (그리고 때때로 느리게 진행되는 경우도 언급되었으므로) 가능한 두 가지 다른 솔루션을 나열합니다.

해결 방법 1 : 이것은 Scrapy를 사용하여 자바 스크립트로 생성 된 콘텐츠를 크롤링하는 방법 에 대한 매우 유용한 자습서 입니다.

우리가 필요한 것 :

1. 기계에 Docker가 설치되었습니다. 이것은 OS 독립적 인 플랫폼을 사용하므로이 시점까지 다른 솔루션에 비해 장점입니다.

2. 해당 OS에 대해 나열된 지침에 따라 Splash를 설치 하십시오.
   스플래시 문서에서 인용 :

   Splash는 자바 스크립트 렌더링 서비스입니다. Twisted 및 QT5를 사용하여 Python 3에서 구현 된 HTTP API를 갖춘 경량 웹 브라우저입니다.

   기본적으로 Splash를 사용하여 Javascript로 생성 된 컨텐츠를 렌더링합니다.

3. 스플래시 서버를 실행하십시오 sudo docker run -p 8050:8050 scrapinghub/splash..

4. scrapy-splash 플러그인을 설치하십시오 :pip install scrapy-splash

5. 우리는 이미 (, 아니라면 만든 Scrapy 프로젝트가 있다고 가정 의 메이크업 하나하자 , 우리는 가이드를 따라 업데이트됩니다) settings.py:

   그런 다음 귀찮은 프로젝트로 이동하여 settings.py다음 미들웨어를 설정하십시오.

   DOWNLOADER_MIDDLEWARES = {
         'scrapy_splash.SplashCookiesMiddleware': 723,
         'scrapy_splash.SplashMiddleware': 725,
         'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
   }
   

   Splash 서버의 URL (Win 또는 OSX를 사용하는 경우 도커 시스템의 URL이어야합니다 . 호스트에서 Docker 컨테이너의 IP 주소를 얻는 방법은 무엇입니까? ) :

   SPLASH_URL = 'http://localhost:8050'

   마지막으로 다음 값도 설정해야합니다.

   DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
   HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
   

6. 마지막으로 다음을 사용할 수 있습니다 SplashRequest.

   일반 스파이더에는 URL을 여는 데 사용할 수있는 Request 객체가 있습니다. 열려는 페이지에 JS 생성 데이터가 포함되어 있으면 SplashRequest (또는 SplashFormRequest)를 사용하여 페이지를 렌더링해야합니다. 다음은 간단한 예입니다.

   class MySpider(scrapy.Spider):
       name = "jsscraper"
       start_urls = ["http://quotes.toscrape.com/js/"]
   
       def start_requests(self):
           for url in self.start_urls:
           yield SplashRequest(
               url=url, callback=self.parse, endpoint='render.html'
           )
   
       def parse(self, response):
           for q in response.css("div.quote"):
           quote = QuoteItem()
           quote["author"] = q.css(".author::text").extract_first()
           quote["quote"] = q.css(".text::text").extract_first()
           yield quote
   

   SplashRequest는 URL을 html로 렌더링하고 callback (parse) 메서드에서 사용할 수있는 응답을 반환합니다.

해결 방법 2 : 이 실험을 지금 바로 호출 해 봅시다 (2018 년 5 월) …
이 솔루션은 현재 Python 버전 3.6 에만 해당됩니다.

요청 모듈 을 알고 있습니까?
이제 웹 크롤링 작은 형제가 있습니다 : requests-HTML :

이 라이브러리는 HTML 구문 분석 (예 : 웹 스크랩)을 가능한 한 간단하고 직관적으로 만듭니다.

1. 설치 요청 -html : pipenv install requests-html

2. 페이지 URL을 요청하십시오.

   from requests_html import HTMLSession
   
   session = HTMLSession()
   r = session.get(a_page_url)
   

3. Javascript 생성 비트를 얻기 위해 응답을 렌더링하십시오.

   r.html.render()

마지막 으로이 모듈은 스크래핑 기능 을 제공하는 것으로 보입니다 .
또는 방금 렌더링 한 객체 와 함께 BeautifulSoup 을 잘 문서화 한 방법으로 시도 할 수 있습니다 r.html.

답변

from selenium import webdriver
import time

driver = webdriver.Firefox()
driver.get(url)
time.sleep(5)
htmlSource = driver.page_source

from requests_html import HTMLSession
session = HTMLSession()

r = session.get('http://python-requests.org/')

r.html.render()

r.html.search('Python 2 will retire in only {months} months!')['months']

'<time>25</time>' #This is the result.

import sys
from PyQt4.QtGui import *
from PyQt4.QtCore import *
from PyQt4.QtWebKit import *
from lxml import html

#Take this class for granted.Just use result of rendering.
class Render(QWebPage):
  def __init__(self, url):
    self.app = QApplication(sys.argv)
    QWebPage.__init__(self)
    self.loadFinished.connect(self._loadFinished)
    self.mainFrame().load(QUrl(url))
    self.app.exec_()

  def _loadFinished(self, result):
    self.frame = self.mainFrame()
    self.app.quit()

url = 'http://pycoders.com/archive/'
r = Render(url)
result = r.frame.toHtml()
# This step is important.Converting QString to Ascii for lxml to process

# The following returns an lxml element tree
archive_links = html.fromstring(str(result.toAscii()))
print archive_links

# The following returns an array containing the URLs
raw_links = archive_links.xpath('//div[@class="campaign"]/a/@href')
print raw_links

$ pip install selenium

from selenium import webdriver

browser = webdriver.Chrome()

browser.get("https://www.python.org/")

nav = browser.find_element_by_id("mainnav")

print(nav.text)