在 Python 中抓取 HTML 表

Question

我正在尝试抓取美国证券交易委员会的报告页面，以获取有关一些股票代码的一些基本信息。

这是 Apple 的示例 URL - https://sec.report/CIK/0000320193

页面内有一个“公司详细信息”表，其中包含基本信息。我基本上只是想抓取 IRS 号码、公司所在州和地址。

我很酷，只是刮下这张图表并将其保存到 PD Df 中。我对网络抓取非常陌生，因此正在寻找一些技巧来完成这项工作！下面是我的代码，但是一旦我提取面板主体，我不知道该去哪里。谢谢大家！

session = requests.Session()
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.76 Safari/537.36'}
page = requests.get('https://sec.report/CIK/0000051143.html', headers = headers)
page.content

from bs4 import BeautifulSoup
soup = BeautifulSoup(page.content, 'html.parser')

soup.find_all(class_='panel-body')

Answer 1

尝试使用 lxml 包而不是 BeautifoulSoup，对我来说更容易找到带有 xpath 语句的元素：

import requests
from lxml import html

session = requests.Session()
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.76 Safari/537.36'}
page = requests.get('https://sec.report/CIK/0000051143', headers=headers)

raw_html = html.fromstring(page.text)

irs = raw_html.xpath('//tr[./td[contains(text(),"IRS Number")]]/td[2]/text()')[0]

state_incorp = raw_html.xpath('//tr[./td[contains(text(),"State of Incorporation")]]/td[2]/text()')

address = raw_html.xpath('//tr[./td[contains(text(),"Business Address")]]/td[2]/text()')[0]