【问题标题】:How To Discover RSS Feeds for a given site [duplicate]如何发现给定站点的 RSS 源 [重复]
【发布时间】:2010-05-04 16:57:16
【问题描述】:

任务是,给定一个站点 URL(比如 https://stackoverflow.com/ )以返回站点上所有可用提要的列表。可接受的方法:

a) 以编程方式使用第 3 方服务(google?、yahoo?、...) b) 使用爬虫/蜘蛛(以及一些关于如何配置蜘蛛以仅返回 rss/xml 提要的提示) c) 以编程方式使用 c/c++/php(任何语言/库)

这里的任务不是获取 url 返回的页面上包含的提要,而是获取服务器上任何深度可用的所有提要...无论如何,请提供一个简单的使用示例。

【问题讨论】:

标签: xml rss feed


【解决方案1】:

我知道这样做的唯一方法是依赖 RSS 发现协议,该协议已经存在了大约 4 年。爬取站点,并在 HTML 页面中查找 RSS 自动发现标签:

<link rel="alternate" type="application/rss+xml" 
      title="Something" 
      href="http://www.example.com/feed1.xml” />

【讨论】:

  • 思路一样,只是找锚标签。请求主页,存储任何 RSS 标签,然后查找锚标签,请求这些页面,重复。
猜你喜欢
  • 2010-09-08
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-05-30
  • 1970-01-01
  • 2021-06-19
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多