是否可以在不使用 BigQuery 清理的情况下查询存储在云存储中的日志数据？

Question

我有大量从 StackDriver 导出到 Google Cloud Storage 的日志数据。我正在尝试使用 BigQuery 运行查询。

但是，在 BigQuery 数据集中创建表时，我得到了

Invalid field name "k8s-app". 
Fields must contain only letters, numbers, and underscores, start with a letter or underscore, and be at most 128 characters long. 
Table: bq_table

大量日志数据从 StackDriver sinks 导出，其中包含大量唯一列名。根据 BigQuery 表，其中一些名称无效。

解决办法是什么？有没有办法在不清理的情况下查询日志数据？使用temporary tables 或其他什么？

注意：我不想将我的数据加载（放入）到 BigQuery Storage，只是为了查询 Google Cloud Storage 中存在的数据。

* 编辑 *

请参考这个documentation了解清楚

Answer 1

我认为您可以根据您的应用程序选择以下两条路线中的任何：

A. 忽略标题

如果有问题的字段位于日志的标题行中，您可以通过在导入命令中添加 --skip_leading_rows=1 参数来选择忽略标题行。比如：

  bq location=US load --source_format=YOURFORMAT --skip_leading_rows=1 mydataset.rawlogstable gs://mybucket/path/* 'colA:STRING,colB:STRING,..'

B. 加载原始数据

如果上述内容不适用，则只需将非结构化原始格式的数据加载到 BigQuery 中即可。一旦你的数据在那里，你就可以开始做各种各样的事情了。

所以，首先创建一个单列的表：

bq mk --table mydataset.rawlogstable 'data:STRING'

现在将您的数据集加载到提供适当位置的表中：

bq --location=US load --replace --source_format=YOURFORMAT mydataset.rawlogstable gs://mybucket/path/* 'data:STRING'

加载数据后，现在您可以使用 SQL 查询对其进行处理，并根据您的分隔符将其拆分并跳过您不喜欢的内容。

C. 创建外部表

如果您不想将数据加载到 BigQuery 但仍想查询，可以选择在 BigQuery 中创建外部表：

bq --location=US mk --external_table_definition=data:STRING@CSV=gs://mybucket/path/* mydataset.rawlogstable

查询数据

如果您选择选项 A 并且它适合您，您可以简单地选择以您已经在做的方式查询您的数据。

如果您选择 B 或 C，您的表现在将数据集中的行作为单列行。您现在可以选择根据您的分隔符要求将这些单列行拆分为多个列行。

假设您的行应该有 3 列，分别命名为 a、b 和 c：

 a1,b1,c1
 a2,b2,c2

现在它全部采用名为data 的单列形式，您可以用分隔符, 分隔：

 select 
    splitted[safe_offset(0)] as a, 
    splitted[safe_offset(1)] as b,
    splitted[safe_offset(2)] as c
 from (select split(data, ',') as splitted from `mydataset.rawlogstable`)

希望对你有帮助。

Answer 2

扩展@khan 的回答：

• 如果文件是 JSON，那么您将无法使用第一种方法（跳过标头）。

• 但是您可以将每个 JSON 行原始加载到 BigQuery - 就像它是 CSV 一样 - 然后在 BigQuery 中解析

在以下位置找到加载原始行的完整示例：

• https://medium.com/google-cloud/bigquery-lazy-data-loading-ddl-dml-partitions-and-half-a-trillion-wikipedia-pageviews-cd3eacd657b6

然后您可以使用JSON_EXTRACT_SCALAR 在 BigQuery 中解析 JSON - 并将现有字段名称转换为 BigQuery 兼容的名称。

Answer 3

很遗憾没有！

作为日志分析的一部分，在将文件提交到 BigQuery 等持久接收器之前，通常会重塑日志数据并运行少量 ETL。

如果日志分析只需要性能监控，并且没有理由为 ETL 创建额外代码，则所有指标都可以从堆栈驱动程序监控的 REST API 端点派生。

Answer 4

如果您不需要包含- 的字段，您可以设置忽略ignore_unknown_values。您必须提供您想要的架构并使用ignore_unknown_values 任何与架构不匹配的字段都将被忽略。