python-如何通过谷歌搜索以英语返回结果

发布时间：2020-12-17 17:41:46 所属栏目：Python 来源：网络整理

导读：我正在尝试搜索Google的某些产品,但Google返回的结果语言取决于代理,因此我尝试使用标题中的accept-language：en-US,en; q = 0.9来修复它但还是没用 import requestsfrom bs4 import BeautifulSoupproducts=["Majestic Pet Stairs Steps","Ball Jars Wide Mo

我正在尝试搜索Google的某些产品,但Google返回的结果语言取决于代理,因此我尝试使用标题中的’accept-language’：’en-US,en; q = 0.9’来修复它但还是没用

import requests
from bs4 import BeautifulSoup
products=["Majestic Pet Stairs Steps","Ball Jars Wide Mouth Lids 12/Pack","LED Duck Color Changing Floating Speaker"]
for product in products:
    headers = {
    'authority': 'www.google.com','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/73.0.3683.103 Safari/537.36','accept-language': 'en-US,en;q=0.9'}
    url = 'https://google.com/search?q={}'.format(product)
    PROXY = None 
    res=requests.get(url,headers=headers,proxies=PROXY)
    if res.status_code!=200:
        print("bad proxy")
        break
    soup = BeautifulSoup(res.text,"lxml")
    print(soup.title.text)

我想要的是始终以英语获取结果(无论代理如何)

最佳答案

他们提供了用于搜索的API：https://developers.google.com/custom-search/v1/overview

如果您通过网络抓取进行大量自动查询,他们很可能会开始设置验证码或阻止您.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!