如何从网站上抓取 Ajax 数据答案

【问题标题】：How to scrape Ajax data from a website如何从网站上抓取 Ajax 数据
【发布时间】：2015-12-25 07:16:19
【问题描述】：

我正在尝试获取网站的数据

www.deutsches-krankenhaus-verzeichnis.de/suche/Bundesland/Nordrhein-Westfalen.jsf

此页面使用 ajax，我不知道如何获取该数据。正如我尝试过 curl 和其他方法一样。

请提供一些建议。

谢谢

【问题讨论】：

他们可以使用某种保护措施来阻止您这样做（会话检查，参考检查）
是的，这可能是我无法得到的，他们正在使用 ajax 调用调用整个页面，当我看到这个链接时，他们正在使用“deutsches-krankenhaus-verzeichnis.de/suche/_files/main-search/…”，但仍然是这个页面再次使用相同的调用。
而棘手的部分是当您查看源代码时，您不会在那里找到任何列表数据。
在最好的情况下，你想要的结果是什么。医院名单？
是的，我需要医院列表及其链接，以便我可以自动化流程，在下一页我可以获取其他信息，但在此页面上我需要医院名称及其链接。跨度>

【解决方案1】：

【讨论】：

【解决方案2】：

使用 curl 时，您只需获取原始页面的源代码，无需执行任何 javascript。尝试使用一些无头浏览器解决方案（例如 PhantomJs）来加载页面并执行 javascript。它允许您在加载 Ajax 数据后使用 css 选择器查询页面。

【讨论】：