用 Python 获取网站描述的最佳方式是什么？答案

【问题标题】：What's the best way to get a description of the website, in Python?用 Python 获取网站描述的最佳方式是什么？
【发布时间】：2011-03-20 22:28:47
【问题描述】：

假设我下载了 HTML 代码，并且可以解析它。如果该网站没有元描述标签，我如何获得该网站的“最佳”描述？

【问题讨论】：

标签： python html string templates parsing

【解决方案1】：

您可以从 Readability 之类的内容中返回前几句。

Safari 5 使用它，所以应该没问题:)

【讨论】：

【解决方案2】：

为了跟进上面的“可读性”建议（其本身受到 InstaPaper 网站的启发），他们发布了 JavaScript：http://code.google.com/p/arc90labs-readability/。更重要的是，有人把它移植到python：http://github.com/gfxmonk/python-readability。高兴！

【讨论】：

【解决方案3】：

显然，很难想出一个 100% 有效的规则，但我的建议是寻找第一个 <h1> 标记（或 <h2>、<h3>、等等 - 你能找到的最高的）然后是可以用作描述的文本位 after。只要该站点在语义上进行了标记，就可以为您提供很好的描述（我想您也可以使用<h1> 本身的内容，但这更像是“标题”） .

有趣的是，Google（例如）使用网页内容的特定关键字提取来显示为描述，而不是静态描述。不过，不确定这是否适合您的情况。

【讨论】：