使用php从csv快速更新大量数据mysql [关闭]

Question

我正在尝试使用 php 更新我的数据库。不幸的是，这个过程太长了。我无法使用数据加载 infile，因为我的主机不允许。

我的数据库行（id、sku、stock、image_1、image_2、image_3） 我的 csv 文件（sku、库存）

我尝试仅将 csv 文件中的库存更新到我的数据库中。

<?php      
    $connect = mysqli_connect("localhost", "databsename", "PAssword", "databsename");
    $handle = fopen("new_stock.csv", "r");
    while($data = fgetcsv($handle))
    {
        $sku = mysqli_real_escape_string($connect, $data[0]); 
        $stock = mysqli_real_escape_string($connect, $data[1]);   
        $query = "UPDATE Products SET stock='$stock' WHERE sku='$sku'";
        mysqli_query($connect, $query);
    }
    fclose($handle);
    echo 'finish';
?> 

Answer 1

这里的技巧是将多个 UPDATE 操作放在一个 transaction 中。为什么？当您提交您的工作时，MySQL 会完成大部分的 UPDATE 和 INSERT 工作。因此，更少的事务导致更快的操作。通常 mysqli 使用“自动提交”模式，这意味着每个语句都是它自己的事务。但这里我们使用mysqli_begin_transaction() 和mysqli_commit()。

这样的事情会起作用（不是！调试）。它还使用prepared statement 和绑定变量来代替已弃用的mysqli_real_escape_string。

    $transactionSize = 500;
    $handle = fopen("new_stock.csv", "r");
    $countdown = $transactionSize;
    mysqli_begin_transaction($connection);
    $updateStatement = mysqli_prepare($connection, 
                        "UPDATE Products SET stock=? WHERE sku=?");
    while($data = fgetcsv($handle)) {
        set_time_limit(30);
        mysqli_stmt_bind_param($updateStatement , "ss", $data[0], $data[1]);
        mysqli_stmt_execute($updateStatement);
        $countdown--;
        if ($countdown <= 0) {
           /* end one transaction, start another */
           mysqli_commit($connection);
           mysqli_begin_transaction($connection);
           $countdown = $transactionSize
        }
    }
    mysqli_commit($connection);
    fclose($handle);
    echo 'finish';
?> 

此 Code Pattern 或类似的东西对于各种多行 INSERT 和 UPDATE 都很有用。

Answer 2

也许使用以下代码可以做到这一点。我有同样的问题。

set_time_limit(0);
$connect = mysqli_connect("localhost", "databsename", "PAssword", "databsename");
$handle = fopen("new_stock.csv", "r");
$str = [];
$flag = true;
$counter = 0;
$str2 = "";
while (($data = fgetcsv($handle, 10000, ",")) !== FALSE) {

    if ($flag) {
        $flag = false;
        continue;
    };
    
    $sku = mysqli_real_escape_string($connect, $data[0]); 
    $stock = mysqli_real_escape_string($connect, $data[1]);   
    $query = "UPDATE Products SET stock='$stock' WHERE sku='$sku'; ";

   
    $counter++;
    $str2 .= $query;
    if ($counter % 10000 == 0) {
        $str[] = $str2;
        $str2 = "";
    }
}

fclose($handle);
if ($str2 != "")
    $str[] = $str2;
    

foreach ($str as $item) {
    $item2 = str_replace('\"', '"', $item2);
    mysqli_query($connect, $item);
}
echo 'finish';