如何将 curl_exec 添加到数据库中答案

【问题标题】：how to add curl_exec into database如何将 curl_exec 添加到数据库中
【发布时间】：2012-07-16 03:57:00
【问题描述】：

我想使用 PHP 和 cURL 访问 $i 网站并将其来源添加到数据库中。

  function curl_grab_page($site,$proxy,$proxystatus,$post)
  {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
    if ($proxystatus == 'on') {
        //curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
        curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);
        curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, TRUE);
        curl_setopt($ch, CURLOPT_PROXY, $proxy);
    }
    curl_setopt($ch, CURLOPT_COOKIEFILE, "cookie.txt");
    curl_setopt($ch, CURLOPT_POST, 1);
    curl_setopt($ch, CURLOPT_POSTFIELDS, $post);
    curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0");
    curl_setopt($ch, CURLOPT_URL, $site);
    ob_start();      
    return curl_exec ($ch); 
    ob_end_clean();
    curl_close ($ch);
}

所以我使用这个函数来获取在 $post 中发送的网站。如您所见，它返回 curl_exec($ch)。现在我想将 curl_exec($ch) 放入数据库。我该怎么做？

$sql = "INSERT INTO 抓取的 (website_source) VALUES ('$str')";

这不起作用（返回 die(); 函数，在这种情况下它显然是一个空白页）。请帮忙。我看不出还有什么办法可以保存网站上的内容。 Preg_match 也不适用于 curl_exec。：/

【问题讨论】：

curl_exec() 返回 TRUE 或 FALSE 所以这个问题没什么意义
你是什么意思？它返回网站的源代码，并在网站打开时执行。 ://
可能不好，我没有看到 CURLOPT_RETURNTRANSFER 已设置

标签： php mysql curl

【解决方案1】：

假设您实际上是通过 curl 抓取整个页面并将其存储在一个字符串中，您需要通过调用 mysql_real_escape_string() 将其包装起来，以转义所有会搞砸 SQL 查询的东西，例如引号和分号在页面源...

$str = mysql_real_escape_string($str);

祝你好运。你可能需要调整你的卷曲以获得你认为你得到的东西......

【讨论】：

谢谢，但我有一个错误：致命错误：调用未定义函数mysql_real_escape_strings() 我的PHP版本是5.2.17
NVM :D 这是 mysql_real_escape_string()，而不是字符串。
@MichałKról 我的错是字符串而不是字符串php.net/manual/en/function.mysql-real-escape-string.php

【解决方案2】：

在您的 curl 响应中，将响应设置为变量，以便您进行故障排除：

$output = curl_exec($ch);
$info = curl_getinfo($ch);

然后您可以查看 $output 和 $info 并确定返回的内容。

就插入数据库而言，您将在函数中返回您的 $output，调用代码将连接到数据库并执行插入查询。您最有可能希望 website_source 列的字段类型为 TEXT。

// get connection to database

// iterate through list of websites to be crawled

// crawl site (call your function)
$page = curl_grab_page(...);

// check if content valid
if...blah

// insert into database
$query = sprintf("INSERT INTO crawled ( website_source ) VALUES '%s'",
        mysql_real_escape_string($page));

mysql_query($query);

您可能希望用 try catch 包围并进行一些错误处理。 msyql_real_escape_string 可以防止 sql 注入，但我不确定在插入之前是否还需要使用 addlashes($page) 以防 mysql 失败。

【讨论】：