无法使用 Goutte Laravel 包抓取此站点。元素存在于视图源中

Question

我正在使用 Laravel Goutte 包 https://github.com/FriendsOfPHP/Goutte 构建一个抓取工具，我已经能够抓取大多数网站，直到我遇到这个需要抓取的网站 http://www.bhutanpost.bt/。

我怀疑的问题是该站点的字符集为 UTF-7，并且返回的 xml 与“查看源代码”中显示的不同。我试图抓取的元素确实存在于视图源中，所以我可以说它们不是由 JS 动态拉取的。

任何帮助都将受到高度赞赏。

Answer 1

我挖掘了它，发现了一个肮脏的修复， 问题在于 parseXhtml 函数内部的 DomCrawler 的 loadHtml 函数。当元标记未明确定义时， loadHtml 会导致问题，所以这是我的修复：

$dom->loadHTML('<meta http-equiv="Content-Type" content="text/html; charset='.$charset.'">'.$htmlContent);

我在 HTML 内容之前添加了元详细信息。