파이썬을 사용하여 역사적인 주식 데이터 다운로드를 자동화하려고합니다. 열려고하는 URL이 CSV 파일로 응답하지만 urllib2를 사용하여 열 수 없습니다. 나는 이전에 몇 가지 질문에 명시된대로 사용자 에이전트를 변경하려고 시도했으며, 운이없이 응답 쿠키를 허용하려고 시도했습니다. 도와 주 시겠어요?
참고 : 동일한 방법이 yahoo Finance에 적용됩니다.
암호:
import urllib2,cookielib
site= "http://www.nseindia.com/live_market/dynaContent/live_watch/get_quote/getHistoricalData.jsp?symbol=JPASSOCIAT&fromDate=1-JAN-2012&toDate=1-AUG-2012&datePeriod=unselected&hiddDwnld=true"
hdr = {'User-Agent':'Mozilla/5.0'}
req = urllib2.Request(site,headers=hdr)
page = urllib2.urlopen(req)
오류
파일 “C : \ Python27 \ lib \ urllib2.py”, 527 행, http_error_default에서 HTTPError (req.get_full_url (), code, msg, hdrs, fp) urllib2.HTTPError : HTTP 오류 403 : 금지됨
도와 주셔서 감사합니다
답변
헤더를 몇 개 더 추가하여 데이터를 얻을 수있었습니다.
import urllib2,cookielib
site= "http://www.nseindia.com/live_market/dynaContent/live_watch/get_quote/getHistoricalData.jsp?symbol=JPASSOCIAT&fromDate=1-JAN-2012&toDate=1-AUG-2012&datePeriod=unselected&hiddDwnld=true"
hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
'Accept-Encoding': 'none',
'Accept-Language': 'en-US,en;q=0.8',
'Connection': 'keep-alive'}
req = urllib2.Request(site, headers=hdr)
try:
page = urllib2.urlopen(req)
except urllib2.HTTPError, e:
print e.fp.read()
content = page.read()
print content
실제로 다음과 같은 추가 헤더에서만 작동합니다.
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
답변
이것은 Python 3에서 작동합니다.
import urllib.request
user_agent = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.7) Gecko/2009021910 Firefox/3.0.7'
url = "http://en.wikipedia.org/wiki/List_of_TCP_and_UDP_port_numbers"
headers={'User-Agent':user_agent,}
request=urllib.request.Request(url,None,headers) #The assembled request
response = urllib.request.urlopen(request)
data = response.read() # The data u need
답변
NSE 웹 사이트가 변경되었으며 이전 스크립트는 현재 웹 사이트에 반 최적화되었습니다. 이 스 니펫은 보안에 대한 일일 세부 정보를 수집 할 수 있습니다. 세부 사항에는 기호, 보안 유형, 이전 종가, 시가, 고가, 저가, 평균 가격, 거래 수량, 회전율, 거래 수, 인도 가능 수량 및 배달 대 거래 비율이 포함됩니다. 이들은 사전 형식의 목록으로 편리하게 표시됩니다.
요청 및 BeautifulSoup이 포함 된 Python 3.X 버전
from requests import get
from csv import DictReader
from bs4 import BeautifulSoup as Soup
from datetime import date
from io import StringIO
SECURITY_NAME="3MINDIA" # Change this to get quote for another stock
START_DATE= date(2017, 1, 1) # Start date of stock quote data DD-MM-YYYY
END_DATE= date(2017, 9, 14) # End date of stock quote data DD-MM-YYYY
BASE_URL = "https://www.nseindia.com/products/dynaContent/common/productsSymbolMapping.jsp?symbol={security}&segmentLink=3&symbolCount=1&series=ALL&dateRange=+&fromDate={start_date}&toDate={end_date}&dataType=PRICEVOLUMEDELIVERABLE"
def getquote(symbol, start, end):
start = start.strftime("%-d-%-m-%Y")
end = end.strftime("%-d-%-m-%Y")
hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Referer': 'https://cssspritegenerator.com',
'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
'Accept-Encoding': 'none',
'Accept-Language': 'en-US,en;q=0.8',
'Connection': 'keep-alive'}
url = BASE_URL.format(security=symbol, start_date=start, end_date=end)
d = get(url, headers=hdr)
soup = Soup(d.content, 'html.parser')
payload = soup.find('div', {'id': 'csvContentDiv'}).text.replace(':', '\n')
csv = DictReader(StringIO(payload))
for row in csv:
print({k:v.strip() for k, v in row.items()})
if __name__ == '__main__':
getquote(SECURITY_NAME, START_DATE, END_DATE)
게다가 이것은 비교적 모듈 식이며 스 니펫을 사용할 준비가되었습니다.