在 java 中使用 StreamingFileSink 创建镶木地板文件

Question

我的目标是将我从 kafka 收到的消息转换为 parquet 文件，但我可能错了。你能帮我解决这个问题吗？

   private static SinkFunction<String> createFileSink(String outputPath) {
        final StreamingFileSink<String> sink = StreamingFileSink
                .forRowFormat(new Path(outputPath), new SimpleStringEncoder<String>("UTF-8"))
                .withRollingPolicy(
                        DefaultRollingPolicy.builder()
                                .withRolloverInterval(TimeUnit.MINUTES.toMillis(15))
                                .withInactivityInterval(TimeUnit.MINUTES.toMillis(5))
                                .withMaxPartSize(1024 * 1024)
                                .build())
                .build();

        return sink;
    }

Answer 1

您应该使用bulk-encoded-format 来编写 Parquet。 RowFormat用于写入文本、csv、json等。