使用curl时某些页面的代码被剪切或显示页面的源代码[关闭]

Question

我向你解释我的问题：
当我在某些站点上做 PHP curls 或想要显示页面元素的源代码时丢失了很多。我认为某些部分是由脚本或其他东西调用的。
有人可以帮助我使用 Curl PHP 查看整个代码。


要复制我的问题，请转到 Facebook 或 LinkedIn 并右键单击页面并“查看页面的源代码”，在此您不会看到所有页面内容，但是例如当您右键单击并“检查元素”时你可以。 提前谢谢你

Answer 1

CURL 无法做到这一点。它不是为呈现 HTML 或执行 JavaScript 而设计的。

Facebook、LinkedIn、Twitter 和许多其他页面上的许多内容都是通过不同的方式加载的。 （如fetch()-requests 或 WebSocket-Events）

您可以在检查器中看到的某些节点不是原始文档的一部分（您正在通过“查看源代码”或 curl 下载查看）。您在检查器上看到的是当前保存在内存中的所有内容，这些内容部分（或全部）是使用脚本语言创建的。

这基本上是为了

• 减少服务器负载，因为它不必针对每个请求生成整个页面
• 减少客户端和服务器上的流量（无需一遍又一遍地重新加载标头数据和/或脚本）

如果您需要来自渲染网站的数据，您应该检查该网站是否提供了一个 API 来为您提供您正在寻找的数据，或者使用来自 this answer 的 cli-rendering-engines 之一。