为什么这个循环在 mysql 结果集上很慢？ （每个周期 1.4 毫秒）

Question

$res 包含大约 488k 行，整个循环需要 61 秒！每个周期超过 1.25 毫秒！这么多时间是怎么回事？

while($row = $res->fetch_assoc())
{
    $clist[$row['upload_id']][$row['dialcode_id']][$row['carrier_id']]['std'] = $row['cost_std'];
    $clist[$row['upload_id']][$row['dialcode_id']][$row['carrier_id']]['ecn'] = $row['cost_ecn'];
    $clist[$row['upload_id']][$row['dialcode_id']][$row['carrier_id']]['wnd'] = $row['cost_wnd'];
    $dialcode_destination[$row['upload_id']][$row['carrier_id']][$row['dialcode_id']]['other_destination'] = $row['destination_id'];
    $dialcode_destination[$row['upload_id']][$row['carrier_id']][$row['dialcode_id']]['carrier_destination'] = $row['carrier_destination_id'];
}

现在 10 行的结果集、更小的数组和性能提高了 30 倍 (0.041ms) 不是最快的，而是更好。

while($row = $res->fetch_assoc())
{
    $customer[$row['id']]['name'] = $row['name'];
    $customer[$row['id']]['code'] = $row['customer'];
}

Answer 1

大数组需要更多时间来分配内存和处理。 这就是为什么我们总是要求数据库完成所有工作并返回 10 行作为最终结果。

Answer 2

488k 是很多行，这意味着很多数据。插入数组的项目越多，分配的内存就越多，查找元素所需的时间就越长。

当您执行几乎一百万次相同的代码时，值得优化数组访问：

... {
  $myclist =& $clist[$row['upload_id']][$row['dialcode_id']][$row['carrier_id']];
  $myclist['std'] = $row['..'];
  $myclist['ecn'] = $row['..'];
  ...
  $dest =& $dialcode_destination[$row['upload_id']][$row['carrier_id']][$row['dialcode_id']];
  $dest['..'] = $row['..'];
  $dest['..'] = $row['..'];
}

这样，您只需进行一次数组查找而不是重复进行一次，并且可能会显着减少运行时间。不过，无论如何，将这么多东西放在一个数组中并不会很快。

从长远来看，最好的办法是将数据保留在数据库中，只在需要时才获取数据（或者如果您想求和/平均，则让数据库为您完成繁重的工作/随便）。

Answer 3

我怀疑一直在持续访问 4 维数组，其中一些（或全部？）维度是从字符串字段键入的，这些值本身必须提取自$row...

我建议你认真重新考虑：

1. 您是否需要内存中的所有内容
2. 如果是这样，最佳访问的最佳数据结构是什么

Answer 4

这个呢：

$cache = array();
while($row = $res->fetch_assoc())
{
    $key = $row['upload_id']."\n".$row['dialcode_id']."\n".$row['carrier_id'];
    $key1 = "1\n$key";
    if (!array_key_exists($key1, $cache))
      $cache[$key1] = &$clist[$row['upload_id']][$row['dialcode_id']][$row['carrier_id']];

    $ref = &$cache[$key1];
    $ref['std'] = $row['cost_std'];
    $ref['ecn'] = $row['cost_ecn'];
    $ref['wnd'] = $row['cost_wnd'];

    $key2 = "2\n$key";
    if (!array_key_exists($key2, $cache))
      $cache[$key2] = &$dialcode_destination[$row['upload_id']][$row['carrier_id']][$row['dialcode_id']]

    $ref = &$cache[$key2];
    $ref['other_destination']   = $row['destination_id'];
    $ref['carrier_destination'] = $row['carrier_destination_id'];
}