php：如何从给定页面的特定 div 中获取所有超链接？

Question

我正在尝试从这个网络获取一些div 上的所有新闻链接 URL

要获取所有链接，在我查看源代码后什么都没有。

但是有什么数据显示

有知道PHP、Array()和JS的人可以帮帮我吗？

这是我获取内容的代码：

$html = file_get_contents("https://qc.yahoo.com/");
if ($result === FALSE) {
    die("?");
} 
echo $html;

Answer 1

$html = new DOMDocument();
@$html->loadHtmlFile('https://qc.yahoo.com/');
$xpath = new DOMXPath( $html );
$nodelist = $xpath->query( "//div[@id='news_moreTopStories']//a/@href" );
foreach ($nodelist as $n){
echo $n->nodeValue."\n";
}

您可以从您指定的 div 中获取所有链接。确保将 div id 放入 id='news_moreTopStories']。您正在使用 xpath 来查询 div。您不需要大量代码，只需要这一部分。

http://php.net/manual/en/class.domxpath.php

Answer 2

假设您想从给定页面中提取所有 Anchor 标签及其超链接。

现在在该 URL 上执行 file_get_contents 会出现某些问题：

1. 压缩的字符编码，即gzip
2. URL 的 SSL 验证。

因此，为了克服gzip 字符编码的第一个问题，我们将按照@gregn3 在他的回答中建议的那样使用CURL。但他错过了使用 CURL 自动解压缩gziped 内容的能力。

对于第二个问题，您可以遵循 this 指南或通过 CURL 的 curl_setopt 方法禁用 SSL 验证。

现在将从给定页面中提取所有链接的代码是：

<?php

$url = "https://qc.yahoo.com/";

# download resource
$c = curl_init ($url);
curl_setopt($c, CURLOPT_HTTPHEADER, ["Accept-Encoding:gzip"]);
curl_setopt ($c, CURLOPT_RETURNTRANSFER, true);
curl_setopt($c, CURLOPT_FOLLOWLOCATION, 1); 
curl_setopt($c, CURLOPT_ENCODING , "gzip");
curl_setopt($c, CURLOPT_VERBOSE, 1);
curl_setopt($c, CURLOPT_SSL_VERIFYPEER, 0);
curl_setopt($c, CURLOPT_SSL_VERIFYHOST, 0);
$content = curl_exec ($c);

curl_close ($c);

$links = preg_match_all ("/href=\"([^\"]+)\"/i", $content, $matches);

# output results
echo "url = " . htmlspecialchars ($url) . "<br>";
echo "links found (" . count ($matches[1]) . "):" . "<br>";
$n = 0;
foreach ($matches[1] as $link)
{
    $n++;
    echo "$n: " . htmlspecialchars ($link) . "<br>";
}

但是如果你想进行高级 html 解析，那么你需要使用PHP Simple HTML Dom Parser。在 PHP Simple HTML Dom 中，您可以使用 jQuery 选择器选择 div 并获取 anchor tags。这是documentation & api manual。

Answer 3

要查找 HTML 中的所有链接，您可以使用 preg_match_all()。

$links = preg_match_all ("/href=\"([^\"]+)\"/i", $content, $matches);

那个 url https://qc.yahoo.com/ 使用 gzip 压缩，所以你必须检测它并使用函数 gzdecode() 解压缩它。 （它必须安装在你的 PHP 版本中）

gzip 压缩由Content-Encoding: gzip HTTP 标头指示。您必须检查该标头，因此您必须使用 curl 或类似方法来检索标头。 （file_get_contents() 不会为您提供 HTTP 标头...它仅下载 gzip 压缩内容。您需要检测它是否已压缩，但为此您需要阅读标头。）

这是一个完整的例子：

<?php

$url = "https://qc.yahoo.com/";

# download resource
$c = curl_init ($url);
curl_setopt ($c, CURLOPT_HEADER, true);
curl_setopt ($c, CURLOPT_RETURNTRANSFER, true);
$content = curl_exec ($c);
$hsize = curl_getinfo ($c, CURLINFO_HEADER_SIZE);
curl_close ($c);

# separate headers from content
$headers = substr ($content, 0, $hsize);
$content = substr ($content, $hsize);

# check if content is compressed with gzip
$gzip = 0;
$headers = preg_split ('/\r?\n/', $headers);
foreach ($headers as $h)
{
    $pieces = preg_split ("/:/", $h, 2);
    $pieces2 = (count ($pieces) > 1);
    $enc = $pieces2 && (preg_match ("/content-encoding/i", $pieces[0]) );
    $gz = $pieces2 && (preg_match ("/gzip/i", $pieces[1]) );
    if ($enc && $gz)
    {
        $gzip = 1;
        break;
    }
}

# unzip content if gzipped
if ($gzip)
{
    $content = gzdecode ($content);
}


# find links
$links = preg_match_all ("/href=\"([^\"]+)\"/i", $content, $matches);

# output results
echo "url = " . htmlspecialchars ($url) . "<br>";
echo "links found (" . count ($matches[1]) . "):" . "<br>";
$n = 0;
foreach ($matches[1] as $link)
{
    $n++;
    echo "$n: " . htmlspecialchars ($link) . "<br>";
}