查找网页的主题答案

【问题标题】：Finding the subject of a webpage查找网页的主题
【发布时间】：2012-02-16 15:38:00
【问题描述】：

我有兴趣找到随机网页的主题或主题，并将其链接到 RDF 数据库（如 dbpedia）中的实体。我想知道是否有任何工具/库可以做到这一点，或者是否有人曾经尝试过这样做？

【问题讨论】：

我认为您的问题可能被认为是“没有建设性的”，但无论如何：有没有对您有用的答案？你能选择它作为答案吗？

【解决方案1】：

查找网页主题可能最接近Automatic Summarization（参见同名的维基百科页面）。用于此的子任务之一是关键词提取 (KE)。 KE 将从输入文本中返回与该文本项重要/突出/相关的子字符串（短语）。如果您假设命名实体通常是输入文本主题的关键，那么命名实体识别 (NER) 将是您想要的另一个可能的子任务。 NER 将返回作为实体名称的子字符串以及实体的类型。

根据您的描述，您似乎在寻找的不仅仅是 KE 或 NER，因为您提到链接到知识库 (KB)，例如 DBpedia。一个名为 DBpedia Spotlight 的工具正是这样做的。您可以将其配置为在输入文本中查找每个 DBpedia 资源，或者仅查找关键短语、仅命名实体等。所有这些都在最后链接到 DBpedia 时进行。看看吧：http://spotlight.dbpedia.org

还有其他工具，如 AlchemiAPI、Zemanta、WikiMachine、Evri、HeadUp、Enrycher 等。但据我所知，DBpedia Spotlight 是唯一一款免费、开源 (Apache V2) 并允许您配置短语识别和消歧的行为类似。（免责声明：我是 DBpedia Spotlight 的共同创建者）

【讨论】：

【解决方案2】：

您真正追求的是命名实体识别工具。有许多免费和商业服务可用，例如Alchemy API、OpenCalais、Lupedia 或Zemanta。我的一些同事有blogged about 使用这些服务的经验。

对于互连部分，您通常会使用 Silk 或 LIMES 等框架；很快将通过 EC FP7 项目 LATC 提供interlinking service in the cloud。免责声明：我是 LATC 项目协调员，Silk/LIMES 是 LATC 联盟成员的产品。

【讨论】：

【解决方案3】：

OpenLink Virtuoso 已经通过其用于 OpenCalais、Alchemy、Pingar 和 DBPedia Spotlight 的 Sponger（一个 RDFizer）元数据盒做到了这一点。即，您向它提供一个页面，它会向上述站点询问实体，它会根据已识别的实体为您提供三元组。

（免责声明：我应该知道。）

【讨论】：