PDO 和 LOAD DATA LOCAL INFILE 不起作用

Question

我只是尝试将 LOAD DATA LOCL INFILE 与 pdo 一起使用。没有为我解决。这是我的功能

function connect($db_name,$db_host,$db_user,$db_pass)
{
    try
    {
        $this->connect = new PDO("mysql:host=$db_host;dbname=$db_name", $db_user, $db_pass);    
        $this->connect->exec("LOAD DATA LOCAL INFILE 'http://localhost/testoo.csv'
                                INTO TABLE 'parsed'
                                FIELDS TERMINATED BY ','
                                OPTIONALLY ENCLOSED BY '\"'
                                LINES TERMINATED BY '\n'
                                ('name','link','price','brand','imageurl')");

    }
    catch(PDOException $e) 
    {  
        echo $e->getMessage(); 
    }
}

现在什么都没有发生。相同的查询适用于普通的 mysql_query。这个问题的任何指针？

Answer 1

在 PDO 连接选项中设置属性PDO::MYSQL_ATTR_LOCAL_INFILE：

function connect($db_name,$db_host,$db_user,$db_pass)
    {
        try
        {
            $this->connect = new PDO("mysql:host=$db_host;dbname=$db_name", $db_user, $db_pass,array(PDO::MYSQL_ATTR_LOCAL_INFILE => true));    
            $this->connect->exec("LOAD DATA LOCAL INFILE 'http://localhost/testoo.csv'
                                    INTO TABLE 'parsed'
                                    FIELDS TERMINATED BY ','
                                    OPTIONALLY ENCLOSED BY '\"'
                                    LINES TERMINATED BY '\n'
                                    ('name','link','price','brand','imageurl')");

        }
        catch(PDOException $e) 
        {  
            echo $e->getMessage(); 
        }
    }

Answer 2

我遇到了同样的问题。我的 MySQL 服务器有正确的 local-infile conf，PHP/PDO 也有正确的 PDO::MYSQL_ATTR_LOCAL_INFILE conf。 解决方案是（重新）安装 php5-mysqlnd。

$> apt-get update
$> apt-get install php5-mysqlnd

...它成功了:)

Answer 3

2019 年编辑

7 年后 Sammitch 在这里说我最初的答案很糟糕。我什至无法弄清楚我在说什么“fgetcsv() 资源使用问题”。可能 7 年前的 PHP 缺少今天的一些 IO 流优化，但我愿意认为这是与 PHP 无关的资源限制。

Jay Dhameliya 下面的回答很可能是您想要的方式。LOAD DATA INFILE 应该尽快将数据直接发送到 mySQL。

为了完整起见，假设存在 阻止使用 LOAD DATA INFILE [例如最近发现的巨大安全漏洞] 并且您希望有效地从文件加载数据，您'我可能希望利用事务来批处理 IO 和索引写入。例如：

$fname = 'myfile.csv';

if( ! $fh = fopen($myfile, 'r') ) {
    throw new Exception("Could not open $fname for reading.");
}

$dbh = new PDO(...);
$dbh->beginTransaction();
$stmt = $dbh->prepare('INSERT INTO table VALUES (?,?,?,...)')
try {
    while( $params = fgetcsv($fh) ) {
        $stmt->execute($params);
    }
} catch( \PDOException $e ) {
    $dbh->rollBack();
    throw $e;
}
$dbh->commit();

将所有内容批处理到单个事务中仍然是LOAD DATA INFILE 如此之快的部分原因，也可能是@Benjamin 建议使用扩展插入的很大一部分。

原始答案

1. LOAD DATA LOCAL INFILE forbidden in... PHP
2. 确保 mySQL 和 www 用户都可以访问相关文件。

或者：使用fgetcsv() 并以编程方式创建插入。

编辑：

为了避免fgetcsv() 的资源使用问题[因为它试图一次读取整个文件]，您可以创建一个类似于下面的循环来读取/插入可管理的块。

<?php
$fname = 'myfile.csv';
$chunksize = 50;

if( ! $fh = fopen($myfile, 'r') ) {
    throw new Exception("Could not open $fname for reading.");
}

$i=0;
$buffer = array()
while(!feof($fh)) {
    $buffer[] = fgets($fh);
    $i++;
    if( ($i % $chunksize) == 0 ) {
        commit_buffer($buffer);
        //run inserts
        $buffer = array(); //blank out the buffer.
    }
}

//clean out remaining buffer entries.
if( count($buffer) ) { commit_buffer($buffer); }

function commit_buffer($buffer) {
    foreach( $buffer as $line ) {
        $fields = explode(',', $line);
        //create inserts
    }
    //run inserts
    $buffer = array(); //blank out the buffer.
}

这样，在任何给定时间，只有$chunksize 行会保存在内存中。

您可能需要额外的代码来处理诸如包含逗号和换行符的封装字符串之类的事情，但如果您无法让 LOAD DATA LOCAL INFILE 工作，我看不到太多其他选择。