是否可以将 Snappy 压缩的 Avro 文件加载到 BigQuery 中？答案

【问题标题】：Is it possible to load Avro files with Snappy compression into BigQuery?是否可以将 Snappy 压缩的 Avro 文件加载到 BigQuery 中？
【发布时间】：2016-09-28 06:04:45
【问题描述】：

我知道 BigQuery 支持 Avro 文件上传，并且我已成功将 Avro 文件加载到 BigQuery 中。

使用下面的命令，

java -jar avro-tools-1.7.7.jar fromjson --codec snappy --schema-file SourceSchema.avsc Source.json > Output.snappy.avro

我使用 Snappy 压缩生成了一个 Avro 文件并尝试加载到 BigQuery，但加载作业失败并出现以下错误，

Errors:
file-00000000: The Apache Avro library failed to parse file file-00000000. (error code: invalid)

是否可以将使用 Snappy 压缩的 Avro 文件加载到 BigQuery 中？

【问题讨论】：

请将编解码器设为无，因为不支持 snappy。但这会增加文件大小。

标签： google-bigquery avro snappy

【解决方案1】：

BigQuery 仅支持用于 Avro 数据块压缩的 DEFLATE 和 Snappy 算法，来自文档 (https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro)

不支持压缩的 Avro 文件，但压缩数据块是。 BigQuery 支持 DEFLATE 和 Snappy 编解码器。

【讨论】：

【解决方案2】：

现在 BigQuery 支持 Snappy。见：https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro

不支持压缩的 Avro 文件，但压缩数据块是。 BigQuery 支持 DEFLATE 和 Snappy 编解码器。

【讨论】：