如何将带有小数字段的镶木地板文件加载到 BigQuery 中？答案

【问题标题】：How to load a parquet file with a dicimal field into BigQuery?如何将带有小数字段的镶木地板文件加载到 BigQuery 中？
【发布时间】：2018-01-03 09:03:31
【问题描述】：

我们有一个名为parq的表存储为parquet，parq中有一个Decimal字段。

当我将 parq 加载到 BigQuery 中时，我收到一条消息：

“字段 'field_name' 的 Parquet 类型 'FIXED_LEN_BYTE_ARRAY' (DECIMAL) 是不支持。”

加载结果：

等待 bqjob_r70dd180dddb0942d_00000160bb2ff706_1 ... (1s) 当前状态：DONE 查询字符串中的错误：错误处理作业 'project_id:bqjob_r70dd180dddb0942d_00000160bb2ff706_1'：镶木地板类型不支持字段“field_name”的“FIXED_LEN_BYTE_ARRAY”（十进制）。

命令：

bq load --source_format=PARQUET --time_partitioning_type=DAY "dataset.table$20171001" "gs://data.0.parq"

如何将 data.0.parq 之类的 parquet 文件加载到 Bigquery 中？

谢谢。

【问题讨论】：

标签： google-bigquery decimal parquet

【解决方案1】：

BigQuery 尚不支持 DECIMAL 类型。根据 Google 的说法，应该在第一季度准备就绪：https://issuetracker.google.com/issues/35906014

所以同时我猜你必须先将此字段转换为浮点数，然后再将其存储到 Parquet 中

【讨论】：