节点JS中云函数中的Bigquery加载无需等待即可获取作业ID

Question

我正在努力从下面的云函数代码中获取 BigQuery 作业 ID。 我需要工作 ID 以验证工作是否成功完成

这是我的代码：

 var storage = new Storage({projectId: process.env.PROJECT_ID});
    var tableId = getTableID(file);

    const metadata = {
        sourceFormat: 'CSV',
        skipLeadingRows: 1,
        autodetect: false,
        writeDisposition: 'WRITE_APPEND',
        fieldDelimiter: process.env.DELIMITER,
        allowJaggedRows: 'TRUE'
    };

    console.log(`The file ${file.name} has been successfully picked up and going to be stored in table ${process.env.PROJECT_ID}:${process.env.DATASET_ID}.${tableId}.`);
    outboundHandler.sendStatusUpdate(file.name, process.env.IN_PROGRESS_CODE);
    var errorsState = false;

// Loads data from a Google Cloud Storage file into the table
   const [job] =   bigquery
        .dataset(process.env.DATASET_ID)
        .table(tableId)
        .load(storage.bucket(file.bucket).file(file.name), metadata);

          console.log(job.id);

Answer 1

我想避免使用 promise，因为我不想等到 Big Query Job 完成：

您可以在元数据对象中设置自己的 jopId 来监控 Job 状态并避免等待 Promise 响应。

来自 BigQuery 加载类文档

• @param {string} [metadata.jobId] 基础作业的自定义 ID。
• @param {string} [metadata.jobPrefix] 应用于基础作业 ID 的前缀。

这是一个 link 到 c# 中的示例，说明如何执行此操作

但是，根据您的描述，您的流程中似乎缺少一个错误。 我建议您尽可能使用Async/Await 而不是promise 来简化您的代码并帮助排除故障

// Imports the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// const projectId = "your-project-id";
// const filename = "/path/to/file.csv";
// const datasetId = "my_dataset";
// const tableId = "my_table";

// Creates a client
const bigquery = new BigQuery({projectId});

// Loads data from a local file into the table
const [job] = await bigquery
  .dataset(datasetId)
  .table(tableId)
  .load(filename);

console.log(`Job ${job.id} completed.`);

// Check the job's status for errors
const errors = job.status.errors;
if (errors && errors.length > 0) {
  throw errors;
}

Answer 2

你需要进一步使用 Promise

const [job] =   bigquery
        .dataset(process.env.DATASET_ID)
        .table(tableId)
        .load(storage.bucket(file.bucket).file(file.name), metadata)
        .then(results => {
                const job = results[0];

                // load() waits for the job to finish
                console.log(`Job ${job.id} completed.`);

                // Check the job's status for errors
                const errors = job.status.errors;
                if (errors && errors.length > 0) {
                    //console.log(errors);
                    callback(errors);
                    //throw errors;
                } else {
                    callback();
                }
            })
            .catch(err => {
                //console.error('ERROR:', err);
                callback(err);
            });

确保在每次可能完成时都致电您的callback。

我们的函数定义为exports.loadFileFromGCStoBigQuery = (data, callback) => {