如何通过使用 pandas read_html 引用特定的 HTML 类或 id 将网页数据拉入我的 DataFrame？

Question

我正在尝试从this site 的表中提取数据并将其保存在包含“ticker”列的CSV 中。现在我的代码是这样的：

import requests
import pandas as pd

url = 'https://www.biopharmcatalyst.com/biotech-stocks/company-pipeline-database#marketCap=mid|stages=approved,crl'
html = requests.get(url).content
df_list = pd.read_html(html)
df = df_list[0]
print (df)
df.to_csv('my data.csv')

它会生成一个看起来像 this 的文件。

我想在我的 CSV 文件中添加“股票代码”列，并为每家公司列出相应的股票代码。代码在 HTML here (class="ticker--small") 中。输出应该类似于this.

我完全坚持这一点。我也尝试在 BeautifulSoup 中这样做，但我无法让它工作。任何帮助将不胜感激。

Answer 1

它有多个表，使用 BeautifulSoup 提取并循环写入 csv。

from bs4 import BeautifulSoup

import requests, lxml
import pandas as pd

url = 'https://www.biopharmcatalyst.com/biotech-stocks/company-pipeline-database#marketCap=mid|stages=approved,crl'
html = requests.get(url).text
soup = BeautifulSoup(html, 'lxml')
tables = soup.findAll('table')

for table in tables:
    df = pd.read_html(str(table))[0]
    with open('my_data.csv', 'a+') as f:
      df.to_csv(f)