PHP DOMXPath 使用完整路径获取值 - 无 ID答案

【问题标题】：PHP DOMXPath Get Value with Full Path - No IDPHP DOMXPath 使用完整路径获取值 - 无 ID
【发布时间】：2020-04-08 11:13:25
【问题描述】：

我正在尝试通过直接 XPath 获取元素的值，因为该元素没有 ID。

$dom = new DOMDocument();
@$dom->loadHTML($rawHTML);
$finder = new DOMXPath($dom);

//this works well
$elements = $finder->query("//*[@id='html-ID-value']")->item(0);

//this does Not work
$testPath = '/html/body/div[2]/div[1]/div[7]/div[1]/div/div/table/tbody/tr[6]/td';

//tested several different ways to fetch the data
$elements = $finder->query("//*[@xpath='" . $testPath . "']");
$elements = $finder->query( $testPath );
$elements = $finder->evaluate( $testPath );

我正在通过 Firefox 生成测试直接 XPath。我使用检查器突出显示一个元素，然后右键单击它并选择复制 XPath。

使用 ID 时，代码运行良好，但我无法使用直接 XPath 获取数据。

我正在寻找的元素没有任何唯一值可供搜索。我想使用直接 XPath 而不是遍历复杂的 DOM 对象，因为我需要这段代码在许多不同的路径上进行操作，这些路径都是不同的。

任何帮助将不胜感激。

谢谢。

========== 编辑/更新 ================================== ===============

非常感谢您的回复。我添加了一个更完整的示例来说明我遇到的问题。在这个例子中，我使用 google 的主页并通过 ID 获取数据，然后通过完整的 XPath 获取另一个数据。 ID 可以很好地获取，并且完整的 XPath 失败。

我还尝试了“评估”方法。

我无法减少或简化完整的 XPath 数据，因为这只是一个示例。如果没有要获取的 ID，用户将生成此路径。因此，每次路径都会根据用户的需求而有所不同。

我同意，在 PHP 中解析后，浏览器上获取的路径可能有所不同，这可能是导致问题的原因。我不知道我将如何解决这个问题。

<?php

error_reporting(E_ALL);
ini_set('display_errors', 1);

$ch = curl_init();

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_VERBOSE, true);
curl_setopt($ch, CURLOPT_AUTOREFERER, true);
curl_setopt($ch, CURLOPT_REFERER, "http://www.google.com/bot.html");
curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_5_8; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.127 Safari/534.16" );

curl_setopt($ch, CURLOPT_URL, "https://www.google.com/" );
$result = curl_exec($ch);
curl_close($ch);

$dom = new DOMDocument();
@$dom->loadHTML($result);
$finder = new DOMXPath($dom);

// get "google offered in:" text by id ----------------------------------------------
$elements = $finder->query("//*[@id='SIvCob']")->item(0);

$results = '';

if ($elements) {
    $results = $elements->firstChild->textContent;
} else {
    $results = "";
}

print('google language: [' . $results . "] <br>"); //returns "Google offered in: " as expected

// get "Store" text by full xpath, top left corner of page -------------------------------------------
$xpath = "/html/body/div/div[3]/div[1]/a[2]"; //path generated by firefox inspector, right clicking on element

$elements = $finder->query($xpath)->item(0);

$results = '';

if ($elements) {
    $results = $elements->firstChild->textContent;
} else {
    $results = "";
}

print('google store: [' . $results . "] <br>");  //returns nothing
print_r($elements); //returns nothing

//trying again ----------------------------------------------------------------------------

$result = $finder->evaluate($xpath);
foreach ($result as $node) {
    var_dump($node); //returns nothing
}

【问题讨论】：

没有看到 HTML 标记，我不确定谁能提供帮助。可以分享一下吗？
我希望编写脚本来处理具有该页面给定 XPath 的任何 HTML 页面。所以你会去那个页面，通过浏览器生成你的 XPath。然后给定 URL 和 XPath，脚本应该返回元素的值。
好吧here's a basic (working) example.
假设您的 HTML 结构与您指定的路径匹配，$elements = $finder->query( $testPath ); 应该可以工作。
@Jeto 那是一件艺术品。我希望我可以投票！ :-)

标签： php html xpath domdocument domxpath

【解决方案1】：

Firefox 中解析的 DOM 不一定与原始来源相同。 Firefox 修改/修复文档。例如，它添加了tbody 元素。

所以试试吧：

$expression = '/html/body/div[2]/div[1]/div[7]/div[1]/div/div/table/tr[6]/td';
$result = $finder->evaluate($expression);
foreach ($result as $node) {
  var_dump($node);
}

但是我建议使用其他东西作为条件来降低表达式的复杂性。比如表格周围的div的class属性。

//div[@class="aClass anotherClass"]/table/tr[6]/td

或者表内第一个th的内容：

//table[contains((tr/th)[1], "Column Header")]/tr[6]/td

【讨论】：

我添加了一个更完整的示例，我尝试了您的新方法但没有成功。

【解决方案2】：

Google 可能会为您的抓取工具返回另一个代码。当我使用你的演示代码时，我完全得到了另一个页面（我的位置：乌克兰）。

首先尝试将抓取的 HTML 保存到文件中：file_put_contents('google.html', $result); 之后，尝试在 Firefox 中打开此文件（禁用 JavaScript）并在 Inspector 中选择必要的元素并复制 XPath。

附：如果你想创建一个好的抓取器和解析器，我推荐使用 Puppeteer (Chrome Headless)。在这里您可以找到 PHP 的桥梁：https://github.com/nesk/puphpeteer

【讨论】：