如何抓取提要

Question

我的应用程序需要跟踪 RSS/Atom 提要并将新条目保存在数据库中。我的问题是，确定提要中的条目是否已被抓取的最可靠方法是什么？

我使用Universal Feed Parser 模块来解析提要。我当前的实现会记录feed.entry[i].updated_parsed 的最新值，当抓取时，如果条目的updated_parsed 值大于记录的值，则将该条目保存在数据库中。这里的问题是许多提要没有发布日期或更新日期。

Answer 1

您应该主要通过引用其<guid> 来确定您是否已经抓取了一个条目（在没有<guid> 的情况下回退到<link>），并且与日期有关的任何事情仅作为次要分析。