使用python提取特定的html标签

Question

在这个链接https://patents.google.com/patent/WO2012061469A3/en?oq=medicinal+chemistry我想要打印专利引用的代码，它应该给出出版号，标题。

然后我想使用 pandas 将出版物编号放在一列中，将标题放在另一列中。到目前为止，我已经使用 beautiful soup 将 HTML 文件转换为可读格式。我选择了反向引用 HTML 标记，并在该标记下打印引用的出版物编号和标题。我举了一个例子，但是我有一个文件夹，里面装满了 HTML 文件，我稍后会做。

x = soup.select('tr[itemprop="backwardReferences"]')
y = soup.select('td[itemprop="title"]')  # this line gives all the titles in the document not particularly under the patent citations
print(y)
print(y)

Answer 1

您可以使用以下 css 选择器组合。 select_one 确保它与第一个表匹配。如果您担心表格顺序发生变化，可以添加 :not 以排除另一个表格，基于第二个 (Non-Patent Citationstable) 的文本：

pd.read_html(str(soup.select('section:has(h2:contains("Patent Citations"):not(:contains("Non-Patent Citations"))) > table')))

注意：

1. 虽然网页在呈现时会直观地显示 2 个专利引用结果，但在页面源中的此表中只有 1 个位于此表中，因此在 requests 内容中。
2. 我使用了 pandas，正如您所说，无论如何您都将使用此导入来生成表格输出和子集特定列。
3. 您可以使用pd.concat() 将数据帧组合成一个循环覆盖多个文件，以生成最终的单个df。

---

from bs4 import BeautifulSoup as bs
import requests
import pandas as pd
 
r = requests.get('https://patents.google.com/patent/WO2012061469A3/en?oq=medicinal+chemistry')
soup = bs(r.content, 'lxml')
df = pd.read_html(str(soup.select_one('section:has(h2:contains("Patent Citations")) > table')))[0]
print(df.loc[: , ['Publication number', 'Title']])