美汤获取数据时间太长，ps一直没有获取数据答案

【问题标题】：Beautiful soup took too long to get data, ps never got data美汤获取数据时间太长，ps一直没有获取数据
【发布时间】：2022-10-15 12:27:37
【问题描述】：

这是代码，获取数据花费的时间太长，而且从未检索到数据。

import requests
from bs4 import BeautifulSoup
print("started")
url="https://www.analog.com/en/products.html#"

def get_data(url):
    r=requests.get(url)
    soup=BeautifulSoup(r.text,"html.parser")
    return soup

def parse(soup):
    datas=soup.find_all("div",{"class":"product-row row"})
    print(len(datas))
    return 

print("started")
soup=get_data(url)
print("got data")
parse(soup)

【问题讨论】：

即使通过删除功能，这也不起作用。

标签： python beautifulsoup

【解决方案1】：

您需要为您的请求标头提供用户代理，只需添加

header = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}

在文件的顶部，然后将“headers”参数添加到您的请求中，如下所示

r=requests.get(url,headers=header)

您可以在这个问题上阅读更多内容：How to use Python requests to fake a browser visit a.k.a and generate User Agent?

【讨论】：