使用请求抓取 Google 专利只会返回样式和脚本标签

Question

我正在尝试使用以下代码抓取 Google 专利。

    url = 'https://patents.google.com/?q=usb'
    r = requests.get(url)
    html_doc = r.text
    soup = BeautifulSoup(html_doc)

但是当我尝试检查文档时，使用

    print(soup.prettify)

除了这个 https://pastebin.com/Xu81LdfE 之外，我什么也得不到。 我检查了请求状态，它返回 200。我哪里出错了？

Answer 1

该页面上的结果来自不同的网址： https://patents.google.com/xhr/query?url=q%3Dusb&exp=

因此，您可以执行 r.json()，而不是使用 BeautifulSoup，并在它创建的字典中找到您想要的内容。

Answer 2

数据不在 HTML 中，而是用 JavaScript 加载的。

因此，beautifulsoup 不能刮。

考虑使用官方 API，因为其他用途可能违反 Google 服务条款，届时他们可能会阻止您。