BigQuery - 插入数据的问题

Question

我目前正在为 BigQuery 使用 new Google PHP libraries，它运行得非常好，但是我在性能方面遇到了一些问题，我找不到任何相关信息。

我正在使用新的 insertRows 方法将数据发送到 BigQuery，虽然我总是收到响应“bigquery#tableDataInsertAllResponse”，但我几乎没有真正看到我的数据被插入。

通常我一次发送的这些数据集大约有 30-100 个项目，我查找了 BigQuery 的配额，我没有超过它，甚至没有接近限制。

BigQuery 确实输入了我最终发送的一些行，但 BigQuery 需要很长时间才能确认我发送了数据，并且当它确认我发送数据时，它会在流式缓冲区中保存好几天，最终只插入一些数据.

这是我用来插入数据的函数：

public function insertInto($tableName, $datasetName, $arrayToInsert) {
    if (empty($arrayToInsert)) {
        return true;
    }
    $table = $this->getTable($tableName, $datasetName);
    $bqTable = $this->bigQueryIdController->getBigQueryTable($tableName, $datasetName);
    $arraySize = count($arrayToInsert);

    $currentSize = $bqTable->getSize();
    for ($i = 0; $i < $arraySize; ++$i) {
        $arrayToInsert[$i]['insertId'] = $currentSize + 1 + $i;
    }

    $insertResponse = $table->insertRows($arrayToInsert);

    if (!$insertResponse->isSuccessful()) {
        $this->handleFailedRows($insertResponse->failedRows());
        return false;
    } else {
        $this->bigQueryIdController->updateBigQueryTable($bqTable, $arraySize);
        return true;
    }
}

有什么办法可以加快速度吗？我现在不能真正使用 BigQuery，因为我的数据需要多长时间才能真正可用。

编辑：

我已经发现重复 ID 条目上的行可以被忽略，但是这不会发生。每当我尝试插入表时，它都会在本地而不是远程获取表的大小，而是在我的数据库中存储一个值。如果它不存在，它将远程获取大小并将其存储在本地。每当插入成功时，它会将“插入”项目的数量添加到计数中并更新本地大小。我的数据库中的值是应该存在多少项目。

Answer 1

如果您多次运行insertId，您的insertId 就不是唯一的，并且您稍后会得到具有相同insertId 的行--> 从缓冲区中清除之前的行。这也具有滚雪球效应，您在流缓冲区中不断有数据，并且永远不会结束存储，因为它正在被具有相同 insertIds 的新请求清除。

确保insertId 是原子的或微时间的。每个请求的 insertId 应该有很大不同。在极少数情况下，您希望从 5 个位置流式传输同一行，并且只允许 1 行，这时您需要 insertId 通用以仅保留 5 个中的 1 个（这是一个示例）