抓取多个 URL 的问题 - NFL 投注数据

Question

我有 2 段代码： 1st：提取投注网站上当前的 NFL 比赛 第二：提取游戏网址上的所有投注

第一个问题是我不知道如何将它们构建成 1 个代码。现在我将结果导出到 Excel 并使用 VBA 添加 URL 的开头以及正确的 '' 和逗号。我玩过地图并加入，但无法正常工作。

然而，最大的问题是我设置的多个 URL 抓取有问题 - 因为我只从第一次抓取中获取数据。

网址抓取：

import requests
from bs4 import BeautifulSoup
result = requests.get("https://www.betfair.com/sport/american-football")
src = result.content
soup = BeautifulSoup(src, 'lxml')

links = [a['href'] for a in soup.find_all('a',{'data-competition': "NFL Preseason Matches"},href=True)]



print(list(set(links)))
#df.to_csv('file.csv')

#str_concat = ',https://www.betfair.com'.join(list(links))

#print(list(set(links)))
#def myfunc(a, b):
#           return a + b

#x = map(myfunc, ('https://www.betfair.com','https://www.betfair.com'), (links))

多网址抓取：

import requests
from bs4 import BeautifulSoup
import pandas as pd
urls = ['https://www.betfair.com/sport/american-football/nfl-preseason-matches/minnesota-vikings-buffalo-bills/29427759',
        'https://www.betfair.com/sport/american-football/nfl-preseason-matches/los-angeles-rams-houston-texans/29427770',
        'https://www.betfair.com/sport/american-football/nfl-preseason-matches/pittsburgh-steelers-carolina-panthers/29427758']

for url in urls:
    result2 = requests.get(url)
    src2 = result2.content
    soup = BeautifulSoup(src2, 'lxml')

data = []
for item in soup.find_all('div', {'class': 'minimarketview-content'}):
    temp_data = [ alpha for alpha in item.text.split('\n') if alpha != '' ] 
    data.append(temp_data)

df = pd.DataFrame(data)
print(df)

df.to_csv('file2.csv')

我希望所有 3 个 URL 的结果都在一个文件中，但只显示最后一个的结果：

,

0,1,2,3,4,5,6,7,8
0,Pittsburgh Steelers,1.42,Carolina Panthers,2.6,,,,,
1,Pittsburgh Steelers,1.75,"-3,5",Carolina Panthers,1.95,"+3,5",,,
2,Nuværende antal points:,Over,1.8,"+33,5",Under,1.9,"+33,5",,
3,Pittsburgh Steelers,1.83,-4,Uafgjort,20.0,+4,Carolina Panthers,1.9,+4
4,Pittsburgh Steelers (-4.5) & Over (33.5) points,3.4,Pittsburgh Steelers (-4.5) og under (33.5) point,3.75,Carolina Panthers (+4.5) & Over (33.5) points,3.5,Carolina Panthers (+4.5) og under (33.5) point,3.5,

Answer 1

您只得到最后一页被刮掉，因为您在没有先处理并将其发送到数据的情况下覆盖soup。

使用处理来自for 循环的数据的函数可能会更好。

这段代码还可以写得更好。

def process_data(soup: BeautifulSoup):
    for item in soup.find_all('div', {'class': 'minimarketview-content'}):
        temp_data = [alpha for alpha in item.text.split('\n') if alpha != '']
        data.append(temp_data)


for url in urls:
    result2 = requests.get(url)
    src2 = result2.content
    soup = BeautifulSoup(src2, 'lxml')
    process_data(soup)


df = pd.DataFrame(data)
print(df)
df.to_csv('file2.csv')

更新：

要动态获取您正在寻找的链接，您必须首先请求https://www.betfair.com/，然后在那里寻找

<div class="nav open" data-nav="All Sports" style="display: block;"/>

此div 包含所提供运动的所有类别列表。在你寻找的那个列表上循环

<span>American Football</span>

然后你得到下一个链接，然后重复这个过程寻找你感兴趣的区块，直到你到达链的末端。

要分析您对哪些块感兴趣，请使用网络浏览器中的“检查”，右键单击您感兴趣的块，它将打开开发工具，您将确切知道您要分析的块。

祝你好运