【问题标题】:Load avro decimal data into BigQuery?将 avro 十进制数据加载到 BigQuery 中?
【发布时间】:2017-09-13 13:55:33
【问题描述】:

我有 AVRO 配置单元表,其中有一些十进制列。我知道 Avro 如何存储逻辑类型格式的十进制数据。但是当我将这些数据加载到 BigQuery 中时,BigQuery 无法解析这些十进制数据它将它们视为垃圾值。我不知道将这些十进制数据加载到 BigQuery 中。任何帮助将不胜感激。

【问题讨论】:

  • 能否请file a bug report 并附上一个不包含 PII 的示例 Avro 文件,如果可能的话?

标签: hive google-bigquery avro


【解决方案1】:

由于 AVRO_DECIMAL 类型是相对较新的添加,BigQuery 尚不支持它。这是问题跟踪器链接: https://issuetracker.google.com/issues/65641870

作为一种临时解决方法,您可以将十进制数据转换为浮点表示,以便将其加载到 BigQuery 中。

【讨论】:

  • 我们在 Array 的 Array 数据类型下有 Decimal 数据类型,如 Array>>> ,在这种情况下我们无法转换为其他类型。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2017-11-10
  • 2019-02-23
  • 2022-01-20
  • 2019-02-18
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多