将存储在 Google Cloud Storage 中的文件加载到 Big Query 时出错

Question

我一直在尝试创建一个作业以将压缩的 json 文件从 Google Cloud Storage 加载到 Google BigQuery 表。我在 Google Cloud Storage 和 Google BigQuery 中都有读/写权限。此外，上传的文件与 BigQuery 属于同一项目。

当我通过 POST 请求访问此 url https://www.googleapis.com/upload/bigquery/v2/projects/NUMERIC_ID/jobs 后面的资源时，就会出现问题。对上述资源的请求内容如下：

{
"kind" : "bigquery#job",
"projectId" : NUMERIC_ID,
"configuration": {
    "load": {
        "sourceUris": ["gs://bucket_name/document.json.gz"],
        "schema": {
            "fields": [
                {
                    "name": "id",
                    "type": "INTEGER"
                },
                {
                    "name": "date",
                    "type": "TIMESTAMP"
                },
                {
                    "name": "user_agent",
                    "type": "STRING"
                },
                {
                    "name": "queried_key",
                    "type": "STRING"
                },
                {
                    "name": "user_country",
                    "type": "STRING"
                },
                {
                    "name": "duration",
                    "type": "INTEGER"
                },
                {
                    "name": "target",
                    "type": "STRING"
                }
            ]
        },
        "destinationTable": {
            "datasetId": "DATASET_NAME",
            "projectId": NUMERIC_ID,
            "tableId": "TABLE_ID"
        }
    }
}

}

但是，错误没有任何意义，也可以在下面找到：

{
    "error": {
        "errors": [
            {
                "domain": "global",
                "reason": "invalid",
                "message": "Job configuration must contain exactly one job-specific configuration object (e.g., query, load, extract, spreadsheetExtract), but there were 0: "
            }
        ],
        "code": 400,
        "message": "Job configuration must contain exactly one job-specific configuration object (e.g., query, load, extract, spreadsheetExtract), but there were 0: "
    }
}

我知道问题不在于项目 ID 或放置在身份验证标头中的访问令牌，因为我之前已经成功创建了一个空表。此外，我将 content-type 标头指定为 application/json，我认为这不是问题所在，因为正文内容应该是 json 编码的。

提前致谢

Answer 1

您的 HTTP 请求格式不正确 - BigQuery 根本不会将其识别为加载作业。 您需要查看 POST 请求，并检查您发送的正文。

您需要确保以上所有内容（接缝正确）都是 POST 调用的body。上面的Json 应该在一行中，如果您手动创建多部分消息，请确保在每个 MIME 类型的标题和正文之间有一个额外的换行符。

如果您使用某种库，请确保正文不是其他形式的，例如资源、内容或正文。我见过使用这些不同的库。

试用 BigQuery API 资源管理器：https://developers.google.com/bigquery/docs/reference/v2/jobs/insert 并确保您的请求正文与 API 生成的内容相匹配。