python和web中的xpath查询之间的区别

Question

我正在尝试迭代某个足球队的实际队员。 我注意到在维基百科中属于球队的球员有相同的格式。 这种格式有 4-6 张桌子，其中 2 张给一线队球员，剩下的给租借球员或年轻球员等...... 当使用在线工具使用 XPath 查询查询维基百科页面时，我得到了我想要的结果，但是当我将它与 Python lxml.html 库和请求库一起使用时，而不是将玩家的表格视为 4-6 个表格，它会看到它作为一个表格元素，只提取一队球员很头疼。

这是我的python代码：

def create_team_ontology(ontology_graph,team_url,team_name):
     res = requests.get(team_url)
     doc = lxml.html.fromstring(res.content)
     print(team_url)
     club_players = doc.xpath("//table[3]/tbody//tr[position() > 1]//td[4]//span/a/@href")
     for player_suffix_url in club_players:
        print(player_suffix_url+'\n')
        player_url = wiki_prefix + player_suffix_url
        get_player_info(ontology_graph,player_url,team_name)

这里是阿森纳https://en.wikipedia.org/wiki/Arsenal_F.C 的维基页面示例。 在源文件中很容易检查每个表是不同的元素。 但是我的俱乐部球员列表包含上述页面中球员类别下的所有球员href。

这是我在网络上运行的代码，使用检查然后 ctrl+f //table[3]/tbody//tr[position() > 1]//td[4]//span/a/@href

Answer 1

您的代码几乎可以正常工作。如果我使用我在另一个主题中发布的 XPath，使用：

from lxml import html
import requests
res = requests.get('https://en.wikipedia.org/wiki/Arsenal_F.C.')
doc = html.fromstring(res.content)
club_players = doc.xpath('//span[@id="Players"]/following::table[1]//span[@class="fn"]//@href')
for player_suffix_url in club_players:
        print(player_suffix_url+'\n')

你会得到阿森纳一线队的 27 名球员的网址。

/wiki/Bernd_Leno

/wiki/H%C3%A9ctor_Beller%C3%ADn

/wiki/Kieran_Tierney

/wiki/Sokratis_Papastathopoulos

/wiki/Dani_Ceballos

...