获取维基百科锚文本

Question

我正在尝试找到一种方法来获取指向维基百科页面的所有传入链接的锚文本（从维基百科中的其他页面）。我读过一些用这些信息做实验的论文（例如http://web2py.iiit.ac.in/research_centres/publications/download/inproceedings.pdf.809e1550d80bca59.4d756c7469446f635f53756d6d6172697a6174696f6e5f46696e616c2e706466.pdf） 但他们似乎没有解释他们如何获得这些信息。我知道有一种资源叫做YAGO，它提供了链接到相关页面的维基百科页面，但它似乎没有提供锚文本。任何人都可以建议一种获取此信息的方法吗？

Answer 1

你需要解析维基百科页面的html文本。

这样的锚文本就像piped link format中的[链接|锚文本]，需要你自己实现parser来找到。

你可以在stackoverflow帖子here中找到更多详细信息

Answer 2

你可以做的是：

• 从https://dumps.wikimedia.org/enwiki/ 下载维基百科转储文件。选择latest，然后选择enwiki-latest-pages-articles.xml.bz2
• 使用https://github.com/attardi/wikiextractor 清理维基百科转储文件。使用标志 l, --links 保留链接

现在您有了包含锚文本的干净的 Wikipedia 纯文本。使用任何编程语言，您都可以解析这些文件并提取锚文本。