如何完成 NBA 球员道具的高级网页抓取？

Question

我想从https://www.bovada.lv 刮取 NBA 球员的道具投注。我将问题命名为 ADVANCED，因为有多个团队、球员和类别。

这是所要求的 HTML 代码：

https://pastebin.com/UkY071uV

以下链接可将您直接带到篮球部分：https://www.bovada.lv/sports/basketball。

开始...

NBA 球员道具位于篮球区。如果您单击每个游戏旁边的箭头或“>”，它将带您进入另一个投注页面。如果玩家道具已发布，您可以在页面底部附近的“玩家道具”部分找到它们（注意：道具在游戏开始前发布）。

这是我正在寻找的一位玩家的数据样本：

Total Points - LeBron James (LAL)
28.5     -115     -115

我想抓取所有球员的姓名、类别和投注赔率。不幸的是，我没有走得太远。到目前为止我所学的方法都没有成功。

#import modules

from bs4 import BeautifulSoup
import requests, os
from selenium import webdriver

#initiate Selenium

os.chdir('C:\webdrivers')

#enter user agent

header = {'User-agent' : 'ENTER USER_AGENT HERE'}
options = webdriver.ChromeOptions(); options.add_argument("--start-maximized")
driver = webdriver.Chrome(chrome_options=options)
driver.get('https://www.bovada.lv/sports/basketball/nba')
soup = BeautifulSoup(driver.page_source, 'html.parser')
driver.quit()

#attempt at printing soup 
print(soup)

我在代码中找不到任何相应的玩家。我认为寻求帮助不会有什么坏处。也许有更多经验的人知道如何做到这一点，或者可以帮助我朝着正确的方向前进。

我是网络抓取的新手，非常感谢您提供的任何帮助。提前感谢您的宝贵时间！

Answer 1

此站点使用内部 JSON api 来获取数据。您的示例的完整 JSON 数据可在此处找到：https://www.bovada.lv/services/sports/event/v2/events/A/description/basketball/nba/los-angeles-lakers-sacramento-kings-201811102200?lang=en

使用curl 和jq 提取数据的示例：

curl -s "https://www.bovada.lv/services/sports/event/v2/events/A/description/basketball/nba/los-angeles-lakers-sacramento-kings-201811102200?lang=en" | \
     jq '.[0].events[0].displayGroups[] | 
         select(.description=="Player Props") | 
         .markets[] | 
         select(.description=="Total Points - LeBron James (LAL)")' 

python：

import requests

r = requests.get('https://www.bovada.lv/services/sports/event/v2/events/A/description/basketball/nba/los-angeles-lakers-sacramento-kings-201811102200?lang=en')

player_props = [
    t["markets"]
    for t in r.json()[0]["events"][0]["displayGroups"]
    if t["description"] == "Player Props"
]
specific_player = [
    t
    for t in player_props[0]
    if t["description"] == "Total Points - LeBron James (LAL)"
]
print(specific_player)