[google-api] Google 웹 검색 API가 더 이상 사용되지 않는 대안은 무엇입니까? [닫은]

Google 웹 검색 API는 더 이상 사용되지 않으며 맞춤 검색 API ( http://code.google.com/apis/websearch/ 참조 ) 로 대체되었습니다 .

전체 웹을 검색하고 싶었지만 새로운 API에서는 사용자 정의 사이트 만 검색 할 수 있습니다.

프로그래밍 방식으로 전체 웹을 검색하는 방법이 있습니까? Java 프로그램에서 JSON을 사용하여 이전 API를 쿼리 할 수있었습니다.



답변

브라우저처럼 전송하고 html을 구문 분석 할 수 있습니다 .Youtube와 같은 경우에도 내가 항상 한 일입니다.


답변

예, 이제 Google 맞춤 검색이 기존 검색 API를 대체했지만 맞춤 검색 설정에서 단계가 명확하지 않지만 Google 맞춤 검색을 사용하여 전체 웹을 검색 있습니다 .

전체 웹을 검색하는 Google 맞춤 검색 엔진을 만들려면 다음 단계를 따르십시오.

  1. Google 맞춤 검색 홈페이지 ( http://www.google.com/cse/ )에서 맞춤 검색 엔진 만들기를 클릭하십시오.
  2. 검색 엔진의 이름과 설명을 입력하십시오.
  3. 검색 엔진 정의 아래의 검색 할 사이트 상자에 하나 이상의 유효한 URL을 입력하십시오 (지금은 www.anyurl.com을 입력하여이 화면을 지나가십시오. 자세한 내용은 나중에).
  4. 원하는 CSE 에디션을 선택하고 서비스 약관에 동의 한 후 다음을 클릭하십시오. 원하는 레이아웃 옵션을 선택한 후 다음을 클릭하십시오.
  5. 다음 단계 섹션에서 링크를 클릭하여 제어판으로 이동하십시오.
  6. 왼쪽 메뉴의 제어판에서 기본 사항을 클릭합니다.
  7. 검색 환경 설정 섹션에서 전체 웹 검색을 선택하지만 포함 된 사이트 강조 표시를 선택하십시오.
  8. 변경 사항 저장을 클릭하십시오.
  9. 왼쪽 메뉴의 제어판에서 사이트를 클릭합니다.
  10. 초기 설정 과정에서 입력 한 사이트를 삭제하십시오.

이제 맞춤 검색 엔진이 전체 웹을 검색합니다.

가격

  • Google 맞춤 검색은 하루에 100 개의 검색어를 무료로 제공합니다.
  • 그 후에는 1000 개의 쿼리 당 $ 5를 지불합니다.
  • 하루에 최대 10,000 개의 쿼리가 있습니다.

출처 : https://developers.google.com/custom-search/json-api/v1/overview#Pricing


  • 검색 품질은 일반 Google 검색보다 훨씬 낮습니다 (동의어, ‘지능’등 없음)
  • Google은이 서비스를 완전히 종료 할 계획 인 것 같습니다.

답변

Google 맞춤 검색 (최고의 답변에서 옹호 됨)은 잘 작동하지만 경쟁 업체 (아래) 또는 다른 Google API와 비교할 때 비용이 많이 듭니다. 소규모 프리 티어 (100 개의 쿼리 / 일)와 1000 개의 쿼리 당 5 달러의 매우 높은 가격이 있습니다.

사이트 검색으로 업그레이드 할 수있는 옵션을 제공하는데 가격이 약간 더 나아지지만 이는 하나의 사이트 (자신의 사이트)를 검색하기위한 것이므로 업그레이드가 아닌 매우 다른 것입니다.

주요 대안은 다음과 같습니다.

Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
월 5000q의 프리 티어를 가지며 가격은 1 페니 당 5 번의 쿼리에서 시작하며 하드 제한은 없습니다.

업데이트 : 2016 년 말 에이 API는 Azure 대응 “Cognitive Services Bing Search API”를 위해 종료되었습니다 :
https://azure.microsoft.com/en-us/services/cognitive-services/search/

1,000 건의 거래에 대해 미화 3 달러에서 시작하는 가격표는 여기참조하십시오 . 내가 뭔가를 놓치지 않으면 꽤 비쌉니다.

Yahoo BOSS Search API
업데이트 : 2016 년 3 월 31 일에 중단되었습니다.
http://developer.yahoo.com/boss/search/
전체 웹 검색에 대해 약 12 ​​개의 쿼리 / 페니에서 시작하는 가격.

그리고 내가 들어 본 적이없는 것들도 있습니다 :

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[판매 중단-아래 지적 된대로]

이 SO 포스트 에서 이들 중 일부에 대해 약간의 토론 있습니다.
[주제를 벗어 났기 때문에 문을 닫았습니다.


답변

여기에 맞춤 검색 제어판의 하단에있는 옵션은 다음과 같습니다 “사이트 검색하기” , 당신이 선택할 수 있습니다 “전체 웹을 검색하지만 포함 된 사이트를 강조”

맞춤 검색 제어판-검색 할 사이트


답변


답변

나는 Common Crawl에서 이것을 보았습니다.

http://www.commoncrawl.org/

우리 모두가 찾고있는 답이 될 수 있습니다 !!


답변

문서 상단에 메모가 있습니다 .

참고 : Google 웹 검색 API는 2010 년 11 월 1 일부터 공식적으로 지원이 중단되었습니다. Google 지원 중단 정책에 따라 계속 작동 하지만 일일 요청 수는 제한됩니다. 따라서 새로운 맞춤 검색 API 로 이동하시기 바랍니다 .

중단 정책은 그들이 3 년 동안 API를 계속 실행됩니다 말한다. 따라서 이전 API를 사용하는 애플리케이션이 이미있는 경우 아직 변경하기 위해 서두를 필요가 없습니다. 새 애플리케이션을 작성중인 경우 맞춤 검색 API를 사용하십시오 . 파이썬 에서이 작업을 수행하는 방법에 대한 내 대답은 here 이지만 아이디어는 모든 언어에서 동일합니다.