如何查询以制作压缩的镶木地板文件？

Question

我使用 apache Drill 制作了数据格式转换程序。

在这个程序中，如果csv文件转换成json，json文件在hdfs中制作

但是我想输出的文件是压缩的。

有可能吗？？如果可以的话怎么做？？

Answer 1

是的，您可以在 apache Drill 中设置压缩类型。

来自文档，

您可以在系统或会话级别为每个集群设置 Drill 查询计划和执行选项。在会话级别设置的选项仅适用于您在当前 Drill 连接期间运行的查询。在系统级别设置的选项会影响整个系统并在重新启动之间持续存在。会话级别设置会覆盖系统级别设置。”

ALTER SYSTEM SET `option_name` = value;

选项名称 store.parquet.compression 您可以从允许的值中选择压缩类型：snappy、gzip、无

更多信息here。