用于将数据从谷歌电子表格加载到 bigquery 的独立脚本

Question

我编写了一个独立脚本，用于将数据从 csv 文件加载到 bigquery，但我想知道如何将数据从电子表格加载到 bigquery。这是我将数据从 csv 加载到 bigquery 的代码。我想知道在哪里对 google 电子表格而不是 csv 文件进行更改。

function loadCsv() {
  // Replace this value with the project ID listed in the Google
  // Developers Console project.
  var projectId = '775034665452';
  var datasetId = 'DEV';
  // Sample CSV file of Google Trends data conforming to the schema below.
  // https://docs.google.com/file/d/0BwzA1Orbvy5WMXFLaTR1Z1p2UDg/edit
  var csvFileId = '0BwzA1Orbvy5WMXFLaTR1Z1p2UDg';

  // Create the table.
  var tableId = 'pets_' + new Date().getTime();
  var table = {
    tableReference: {
      projectId: projectId,
      datasetId: datasetId,
      tableId: tableId
    },
    schema: {
      fields: [
        {name: 'week', type: 'STRING'},
        {name: 'cat', type: 'INTEGER'},
        {name: 'dog', type: 'INTEGER'},
        {name: 'bird', type: 'INTEGER'}
      ]
    }
  };
  table = BigQuery.Tables.insert(table, projectId, datasetId);
  Logger.log('Table created: %s', table.id);

  // Load CSV data from Drive and convert to the correct format for upload.
  var file = DriveApp.getFileById(csvFileId);
  var data = file.getBlob().setContentType('application/octet-stream');

  // Create the data upload job.
  var job = {
    configuration: {
      load: {
        destinationTable: {
          projectId: projectId,
          datasetId: datasetId,
          tableId: tableId
        },
        skipLeadingRows: 1
      }
    }
  };
  job = BigQuery.Jobs.insert(job, projectId, data);
  Logger.log('Load job started. Check on the status of it here: ' +
      'https://bigquery.cloud.google.com/jobs/%s', projectId);
}

Answer 1

您必须先将数据加载到 BigQuery 中，然后才能运行查询。

您可以通过以下方式load data：

• 从 Google Cloud Storage 加载，包括 CSV、JSON（换行符分隔）和 Avro 文件，以及 Google Cloud Datastore 备份。
• 直接从可读数据源加载。
• 使用 streaming inserts 插入单个记录。

加载的数据可以添加到新表、附加到表或覆盖表。

BigQuery 支持从多种源格式加载数据，包括 CSV、JSON、Avro 和 Google Cloud Datastore 备份文件。如需更多信息，请参阅Data Formats。

正在加载 CSV 文件，请检查：https://cloud.google.com/bigquery/loading-data#loading_csv_files