用于抓取的 Drupal URL 结构

Question

过去，我正在尝试使用 Python 脚本抓取一个用于音乐演出的 drupal 网站。

在使用 wordpress 网站时，我会像这样遍历 url：

http://wordpressevents.com/?p=1 ... http://wordpressevents.com/?p=10000

...这会让我转到一个我可以抓取的页面（如果那里有的话）。实际的 URL 类似于：

http://wordpressevents.com/music/some-band-youve-never-heard-of/

我的 Drupal 站点也有部分（例如 /gigs/ 或 /classical/ 等）。

有什么方法可以找出他们的网址，以便我可以用 Python 和 BeautifulSoup 抓取它（欢迎其他建议）？

理想情况下，我会找出结构是什么......

http://drupalevents.com/drupost?=1 ... http://drupalevents.com/drupost?=10000

等等

但也许它不会像这样工作？

Answer 1

在 drupal 中，唯一有保证的内容 url 结构是 /node/[some number]

因此，对任意drupal 站点执行此操作的最佳方法是从/node/1 开始，然后从那里向上，每次递增1。或者，如果您查看站点上最新页面的来源并在 body 类标记中找到页面的节点 ID，那么您将知道最后一个数字并向后工作。例如，给定 node/185324 主体可以有类 node-1853524 。这可能不存在，因为主体类可能是基于站点设置方式的任何内容。

大多数网站也使用 pathauto 模块来为页面提供比 node/123 更友好的东西

pathauto 模块根据站点构建器指定的内容使用标记，为内容提供漂亮的 url。一种常见的方法是 /content/[node:title]。我怀疑这是否真的会对您有所帮助，但至少它会给您一些有关如何设置 drupal 站点的信息。