带有 SQL 结果的 PHP 内存限制

Question

我正面临一个根本不应该解决的问题，但不知何故我不能。这是场景：

我想从 SQL 语句中获取结果到 PHP 数组中，看起来很简单吧？

问题是它给了我关于 memory_limit 的错误（致命错误：内存不足（已分配 408944640）（试图分配 805306376 字节））。

这是我的代码，它使用的语句结果较少（我需要使用的语句包含 +/- 4000 条记录）。

$connect = @new mysqli($host, $db_user, $db_password, $db_name);

if($connect->connect_errno!=0)
{
    echo "Error: ".$connect->connect_errno."Why: ". $connect->connect_error;
}
else{
    $query = "SELECT meta_value, post_date 
FROM 
  wp_postmeta
  INNER JOIN 
  wp_posts
  ON wp_posts.ID=wp_postmeta.post_id 
where wp_posts.post_type ='shop_order' AND wp_postmeta.meta_key = '_order_total'";
    $sql_query=mysqli_query($connect,$query);
    if ($sql_query->num_rows > 0){
    while(($row = mysqli_fetch_assoc($sql_query))!== false){
        $result[] = $row;
    }} else {
        echo "0 results";
    }
}

echo json_encode($result);

不太确定为什么它使用 0.8 GB 内存（对于一个简单的语句来说似乎已经足够了。但是为了尝试一下，我已将 php.ini 文件中的 memory_limit 更改为：memory_limit=8192M。但它根本没有帮助（检查 memory_limit 是否应用了调用 php_info() 函数）。

谢谢你们！

Answer 1

不要在内存中保存完整的结果表，否则您的服务器很容易受到 DOS 攻击。服务器必须能够同时回复许多请求。一次只处理一行并释放分配的内存。

您应该直接输出以逗号分隔的 JSON 块。

echo '[';

$sep = '';
while(($row = mysqli_fetch_assoc($sql_query))!== false){
    echo $sep . json_encode($row);
    $sep = ',';
}

echo ']';

或者，您可以将其缓存在临时文件中。

在较新的 MySql 版本上，您可以尝试：

SELECT JSON_OBJECT('meta_value', meta_value, 'post_date', post_date)
FROM wp_postmeta 
INNER JOIN wp_posts ON wp_posts.ID=wp_postmeta.post_id 
WHERE wp_posts.post_type ='shop_order' 
AND wp_postmeta.meta_key = '_order_total' 
INTO OUTFILE '/tmp/mysql-temp-GENERATED_UUID';

这会生成一个带有 JSON 行的文件，但不是逗号分隔的。 正如mysqlserverteam.com 上所述，聚合函数JSON_ARRAYAGG 应该可以解决这个问题。 （不幸的是，我的安装存在第三方存储库冲突，因此我无法对其进行测试。）

SELECT JSON_ARRAGG(JSON_OBJECT('meta_value', meta_value, 'post_date', post_date))
FROM wp_postmeta 
INNER JOIN wp_posts ON wp_posts.ID=wp_postmeta.post_id 
WHERE wp_posts.post_type ='shop_order' 
AND wp_postmeta.meta_key = '_order_total' 
INTO OUTFILE '/tmp/mysql-temp-GENERATED_UUID';

如果 JSON_ARRAYAGG 由于某种原因导致问题，解决方法（至少在类 unix 系统上）是：

<?php
  $guid = bin2hex(openssl_random_pseudo_bytes(16));
  $tmp_filename = "/tmp/mysql-json-{$guid}.json";
  /* let MySql generate the tempfile, then */

  passthru('sed \'1 s/^/[/; $! s/$/,/ ; $ s/$/]/\' ' . $tmp_filename);
?>

Answer 2

为什么不用Wordpress这样查询和分页：

$args = array(
    "post_type" => "shop_order",
    "posts_per_page" => 1000,
    "post_status" => array("any"),
    "paged" => $paged, // pass your pagination here from javascript
    "meta_query" => array(
        "key" => "_order_total",
        "compare" => "EXISTS"
    )
);
$custom_posts = get_posts($args);

echo json_encode($custom_posts);