【问题标题】:Does BigQuery support avro compression or not?BigQuery 是否支持 avro 压缩?
【发布时间】:2018-03-11 03:36:05
【问题描述】:

在此处的一个文档中:https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro#avro_compression 它明确表示不支持 avro 压缩。

在另一个文档中:https://cloud.google.com/bigquery/docs/loading-data#loading_compressed_and_uncompressed_data 它说 Avro 格式是压缩数据的首选。

谁能告诉我这是什么意思?我真的很困惑。

【问题讨论】:

  • 这两个地方的文档只讨论了压缩数据块,这是受支持的,在我看来是一致的。有什么我想念的吗?
  • 所以,压缩文件只支持 gzip,但数据块 gzip 和 avro?是行/表级别的压缩数据块吗?
  • 压缩数据块意味着内部 Avro 文件的数据被压缩。您不能将 Avro 文件粘贴到 zip 或 gzip 容器中。这就像 PNG 的压缩方式,但压缩后的图像不是一回事。

标签: google-bigquery


【解决方案1】:

这两个地方的文档都只讲了压缩数据块,都是支持的,而且是一致的。

压缩数据块意味着 Avro 文件中的数据被压缩。您不能将 Avro 文件粘贴到 zip 或 gzip 容器中。这就像 PNG 的压缩方式,但 gzip 压缩的图像不是一回事。

【讨论】:

    猜你喜欢
    • 2012-08-04
    • 2023-03-19
    • 2017-10-24
    • 2016-04-27
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多