【问题标题】:How to get news based on publishing date using news-please python library如何使用news-please python库根据发布日期获取新闻
【发布时间】:2020-02-02 10:00:02
【问题描述】:

我正在尝试整理来自不同媒体的同一故事的新闻文章,我正在为此使用 news-please python 库。以下代码使用给定的 URL 为我提供新闻,但我想获取多篇新闻文章(基于特定日期或日期范围)。有谁知道我该怎么做?

这是使用特定 URL 获取新闻的代码:

from newsplease import NewsPlease

article = NewsPlease.from_url('https://www.nytimes.com/2017/02/23/us/politics/cpac-stephen-bannon-reince-priebus.html?hp')

print(article.title)

【问题讨论】:

  • 你有网址列表吗?

标签: python feed


【解决方案1】:

当您想从公共抓取新闻存档(也称为公共抓取新闻抓取或 CCNC)中获取许多文章时,Shishdem 的回答非常好。

但是,如果您要查找的只是几篇文章,您可以使用NewsPlease.from_urls([url1, url2, ...], timeout=6) 来抓取这些文章(请参阅https://github.com/fhamborg/news-please#use-within-your-own-code-as-a-library)。请注意,此命令不支持开箱即用的过滤,但我仍然更喜欢它(以及随后的文章过滤,您自己实现)而不是新闻的常见抓取新闻存档变体 - 如果您只想拥有一些文章。这样做的一个原因是,为了从 CCNC 获得过滤的文章子集,理论上您需要处理完整的 CCNC,因为 CCNC 中的文章不一定按发布日期排序。例如,新闻媒体 A 2018 年 1 月 1 日的一篇文章可能会在一天后被 CCNC 抓取,而出版商 B 的 2018 年 1 月 2 日的另一篇文章可能会在一个月甚至一年后被抓取。

【讨论】:

    【解决方案2】:

    您可以通过从创建的文章对象中提取发布日期来实现此目的,也可以使用WARC 文件。

    更多信息可在文档中找到:https://github.com/fhamborg/news-please#use-within-your-own-code-as-a-library

    【讨论】:

      猜你喜欢
      • 2019-07-01
      • 1970-01-01
      • 1970-01-01
      • 2017-01-22
      • 1970-01-01
      • 1970-01-01
      • 2019-03-21
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多