使用 beautifulsoup 从 HTML 标签中的 javascript 抓取

Question

我正在尝试从本网站 http://www.smfederation.org.sg/membership/members-directory 的所有字母（Ato Z 和 0-9）中提取名称

但名字似乎隐藏在href ="javascript:void(0)"

下面是我的代码

import requests 
from bs4 import BeautifulSoup
url = "http://www.smfederation.org.sg/membership/members-directory"
for item in url:
    detail = requests.get(item)
    soup = BeautifulSoup(detail.content, 'html.parser')

我不知道如何在 HTML 中处理 javascript。 我应该在上面的代码中添加什么来获取所有列表的名称？

Answer 1

您正在抓取错误的网址。打开浏览器的检查器，转到网络选项卡，您将看到名称为http://smfederation.org.sg/account/getaccounts

它是json格式，所以当你使用requests返回的响应对象的.json()方法加载它时，它会自动成为一个Python字典：

>>> import requests
>>> accounts = requests.get("http://www.smfederation.org.sg/account/getaccounts").json()
>>> accounts["data"][0]["accountname"]
'OPTO-PRECISION PTE LTD'

您还可以使用for 循环获取所有帐户，例如：

for account in accounts["data"]:
    print(account["accountname"])