总结维基百科文章答案

【问题标题】：Summarizing a Wikipedia Article总结维基百科文章
【发布时间】：2012-01-31 06:27:27
【问题描述】：

我发现自己必须一直学习新事物。我一直在想办法加快学习新学科的过程。我认为如果我可以编写一个程序来解析维基百科文章并删除除了最有价值的信息之外的所有内容。

我首先从PDFs 上的维基百科文章中提取前 100 个句子。我根据我认为它的价值给每个句子打分。我最终创建了一个以下格式的文件：

<sentence>
<value>
<sentence>
<value>
etc.

然后我解析了这个文件并试图找到各种函数，这些函数将每个句子与我给它的值相关联。我刚刚开始学习机器学习和统计等等，所以我在这里做了很多摸索。这是我的最新尝试：https://github.com/JesseAldridge/Wikipedia-Summarizer/blob/master/plot_sentences.py。

我尝试了一堆似乎根本没有产生任何相关性的东西——平均字长、文章中的位置等。几乎唯一能产生任何有用关系的东西就是长度的字符串（更具体地说，计算小写字母 'e' 的数量似乎效果最好）。但这似乎有点蹩脚，因为很明显更长的句子更有可能包含有用的信息。

在某一时刻，我以为我找到了一些有趣的函数，但是当我尝试删除异常值（仅计算内部四分位数）时，结果发现它们产生的结果更差，然后只是为每个句子返回 0。这让我想知道我可能做错了多少其他事情......我也想知道这是否是解决这个问题的好方法。

你认为我在正确的轨道上吗？或者这只是一个傻瓜的差事？链接代码中是否存在明显的缺陷？有谁知道解决总结维基百科文章问题的更好方法？我宁愿有一个快速而肮脏的解决方案，而不是需要很长时间才能完成的完美解决方案。也欢迎任何一般性建议。

【问题讨论】：

【解决方案1】：

考虑到您的问题更多地涉及研究活动而不是编程问题，您可能应该查看科学文献。在这里，您将找到许多算法的已发布详细信息，这些算法完全符合您的要求。谷歌搜索“关键字摘要”发现以下内容：

如果您阅读以上内容，然后按照其中包含的参考资料进行操作，您会发现大量信息。当然足以构建一个功能性应用程序。

【讨论】：

好的，所以我只需要根据句法依赖关系分析创建一个依赖图，并使用聚类系数来测量节点连接。然后就是拉出节点三角形并使用它们来提取关键句子的简单问题。 ffs ......这么多快速和肮脏的。不过说真的，谢谢你的论文。这可能是我能得到的最好的信息了。
嘿……你刚刚成功地总结了那篇论文的关键词。也许这是一个机械土耳其人的工作！

【解决方案2】：

就我的两分钱...

每当我在 Wikipedia 上浏览新主题时，我通常会执行“广度优先”搜索；在我扫描了页面连接到的每个链接（这引入了一个我还不熟悉的主题）之前，我拒绝继续讨论另一个主题。我阅读了每个段落的第一句话，如果我在该文章中看到与原始主题相关的内容，我会重复该过程。

如果我要为维基百科“总结器”设计界面，我会

这个过程可以无限重复。

我的意思是，总结 Wikipedia 文章不同于总结杂志文章或博客上的帖子。爬行是通过维基百科快速学习介绍性概念的重要部分，我觉得这是最好的。通常，文章的下半部分是 citation needed 标签开始弹出的位置，但任何给定文章的前半部分都被认为是社区提供的知识。

【讨论】：