[python] 동적 페이지 용 스크래피가있는 셀레늄

Program / 글쓴이

스크래피를 사용하여 웹 페이지에서 제품 정보를 긁어 내려고합니다. 내 스크랩 할 웹 페이지는 다음과 같습니다.

  • 10 개의 제품이있는 product_list 페이지로 시작
  • “다음”버튼을 클릭하면 다음 10 개의 제품이로드됩니다 (URL은 두 페이지간에 변경되지 않음).
  • LinkExtractor를 사용하여 각 제품 링크를 제품 페이지로 이동하고 필요한 모든 정보를 얻습니다.

next-button-ajax-call을 복제하려고했지만 작동하지 않아서 셀레늄을 사용해 보았습니다. 별도의 스크립트에서 셀레늄의 웹 드라이버를 실행할 수 있지만 스크래피와 통합하는 방법을 모르겠습니다. 긁힌 거미에 셀레늄 부분을 어디에 넣을까요?

내 거미는 다음과 같이 꽤 표준입니다.

class ProductSpider(CrawlSpider):
    name = "product_spider"
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/shanghai']
    rules = [
        Rule(SgmlLinkExtractor(restrict_xpaths='//div[@id="productList"]//dl[@class="t2"]//dt'), callback='parse_product'),
        ]

    def parse_product(self, response):
        self.log("parsing product %s" %response.url, level=INFO)
        hxs = HtmlXPathSelector(response)
        # actual data follows

어떤 아이디어라도 감사합니다. 감사합니다!

답변

실제로 사이트를 스크래핑해야하는 방법과 얻고 자하는 데이터가 무엇인지에 따라 다릅니다.

다음은 Scrapy+를 사용하여 eBay에서 페이지 매김을 따르는 방법의 예입니다.Selenium .

import scrapy
from selenium import webdriver

class ProductSpider(scrapy.Spider):
    name = "product_spider"
    allowed_domains = ['ebay.com']
    start_urls = ['http://www.ebay.com/sch/i.html?_odkw=books&_osacat=0&_trksid=p2045573.m570.l1313.TR0.TRC0.Xpython&_nkw=python&_sacat=0&_from=R40']

    def __init__(self):
        self.driver = webdriver.Firefox()

    def parse(self, response):
        self.driver.get(response.url)

        while True:
            next = self.driver.find_element_by_xpath('//td[@class="pagn-next"]/a')

            try:
                next.click()

                # get the data and write it to scrapy items
            except:
                break

        self.driver.close()

다음은 “셀레늄 거미”의 몇 가지 예입니다.

Selenium와 함께 사용해야하는 대안도 있습니다 Scrapy. 어떤 경우에는 ScrapyJS미들웨어를 사용하여 페이지의 동적 부분을 처리하기에 충분합니다. 실제 사용 사례 :

답변

(URL이 두 페이지 사이에서 변경되지 않는 경우) scrapy.Request ()와 함께 dont_filter = True 를 추가해야합니다. 그렇지 않으면 scrapy가 첫 페이지를 처리 ​​한 후이 URL을 중복으로 찾습니다.

자바 스크립트로 페이지를 렌더링해야하는 경우 scrapy-splash 를 사용해야합니다. 셀레늄을 사용하여 자바 스크립트 페이지를 처리 ​​할 수있는 이 스크래피 미들웨어 를 확인 하거나 헤드리스 브라우저를 실행하여이를 수행 할 수도 있습니다.

그러나 더 효과적이고 빠른 솔루션은 브라우저를 검사하고 양식을 제출하거나 특정 이벤트를 트리거하는 동안 어떤 요청이 작성되었는지 확인하는 것입니다. 브라우저가 보내는 것과 동일한 요청을 시뮬레이션하십시오. 요청을 올바르게 복제 할 수 있으면 필요한 데이터를 얻을 수 있습니다.

다음은 예입니다.

class ScrollScraper(Spider):
    name = "scrollingscraper"

    quote_url = "http://quotes.toscrape.com/api/quotes?page="
    start_urls = [quote_url + "1"]

    def parse(self, response):
        quote_item = QuoteItem()
        print response.body
        data = json.loads(response.body)
        for item in data.get('quotes', []):
            quote_item["author"] = item.get('author', {}).get('name')
            quote_item['quote'] = item.get('text')
            quote_item['tags'] = item.get('tags')
            yield quote_item

        if data['has_next']:
            next_page = data['page'] + 1
            yield Request(self.quote_url + str(next_page))

페이지 매김 URL이 모든 페이지에 동일 및 다음 사용할 수있는 POST 요청을 사용하는 경우 ) scrapy.FormRequest을 ( 대신 scrapy.Request () 모두가 동일하지만 FormRequest는 새로운 주장을 추가 ( formdata = 생성자를).

다음은이 게시물의 또 다른 스파이더 예제입니다 .

class SpiderClass(scrapy.Spider):
    # spider name and all
    name = 'ajax'
    page_incr = 1
    start_urls = ['http://www.pcguia.pt/category/reviews/#paginated=1']
    pagination_url = 'http://www.pcguia.pt/wp-content/themes/flavor/functions/ajax.php'

    def parse(self, response):

        sel = Selector(response)

        if self.page_incr > 1:
            json_data = json.loads(response.body)
            sel = Selector(text=json_data.get('content', ''))

        # your code here

        # pagination code starts here
        if sel.xpath('//div[@class="panel-wrapper"]'):
            self.page_incr += 1
            formdata = {
                'sorter': 'recent',
                'location': 'main loop',
                'loop': 'main loop',
                'action': 'sort',
                'view': 'grid',
                'columns': '3',
                'paginated': str(self.page_incr),
                'currentquery[category_name]': 'reviews'
            }
            yield FormRequest(url=self.pagination_url, formdata=formdata, callback=self.parse)
        else:
            return

답변