Python 请求未返回完全加载的内容

Question

尝试从here 获取大小。

我想要的内容：

但是我收到了：

[<div class="options" id="productSizeStock">
<button class="btn options-loading" disabled="" type="button">
</button>
<button class="btn options-loading" disabled="" type="button">
</button>
<button class="btn options-loading" disabled="" type="button">
</button>
<button class="btn options-loading" disabled="" type="button">
</button>
<button class="btn options-loading" disabled="" type="button">
</button>
<button class="btn options-loading" disabled="" type="button">
</button>
<button class="btn options-loading" disabled="" type="button">
</button>
<button class="btn options-loading" disabled="" type="button">
</button>
<button class="btn options-loading" disabled="" type="button">
</button>
<button class="btn options-loading" disabled="" type="button">
</button>
<button class="btn options-loading" disabled="" type="button">
</button>
<button class="btn options-loading" disabled="" type="button">
</button>

我还尝试使用requests-html 来查看是否是 javascript 渲染问题。但我只是收到空值。

这是我的代码：

import requests
import randomheaders
from bs4 import BeautifulSoup

proxy = {'''PROXY'''}
while True:
    try:
        source = requests.get("https://www.size.co.uk/product/grey-nike-air-max-98-se/132114/", proxies= proxy, headers=randomheaders.LoadHeader(),timeout=30).text
        soup = BeautifulSoup(source, features = "lxml")
        print(soup.find_all("div", class_="options"))

    except Exception as e:
        print(e)

    time.sleep(5)

Answer 1

这可能是因为您正在搜索的信息是由客户端脚本（在本例中为 JS）动态添加的。如果是这种情况，我看不到一个简单的方法来简单地使用requests 获取信息，也许你应该更好地分析页面脚本，如果真的有动机执行正确的AJAX 请求。

因此，回顾一下，您没有得到正确的结果，因为任何 JS 生成的内容都必须在文档上呈现。当您获取 HTML 页面时，您只获取初始文档。

一个可能的解决方案（该解决方案仅适用于 Python 的 3.6）在于使用 requests-HTML 而不是 requests：

这个库旨在使解析 HTML（例如抓取网页）尽可能简单和直观。

1. 安装 requests-html:pipenv install requests-html

2. 向页面的 url 发出请求：

   from requests_html import HTMLSession
   
   session = HTMLSession()
   r = session.get(a_page_url)
   

3. 渲染响应以获取 Javascript 生成的位：

   r.html.render()
   

此模块提供scraping 和 JavaScript 支持，这正是您所需要的。

Answer 2

从技术角度来看，您的代码是正确的。由于本网站使用 Javascript 来呈现自身，因此大小存储在不同的 URL 上，如下所示：

https://www.size.co.uk/product/grey-nike-air-max-98-se/132114/stock

如您所见，您只需将 /stock 添加到您的初始 URL。

---

话虽如此，请尝试替换：

source = requests.get("https://www.size.co.uk/product/grey-nike-air-max-98-se/132114/", proxies= proxy, headers=randomheaders.LoadHeader(),timeout=30).text
soup = BeautifulSoup(source, features = "lxml")
print(soup.find_all("div", class_="options"))

与：

source = requests.get("https://www.size.co.uk/product/grey-nike-air-max-98-se/132114/stock", proxies= proxy, headers=randomheaders.LoadHeader(),timeout=30).text
soup = BeautifulSoup(source, features = "lxml")
sizes = [x["title"].replace("Select Your UK Size ","") for x in soup.find_all("button",{"data-e2e":"product-size"})]
print(sizes)

其中sizes 是一个包含所有尺寸的列表，并具有以下输出：

['6', '7', '7.5', '8', '8.5', '9', '9.5', '10', '10.5', '11', '11.5', '12']

希望这会有所帮助！