如何使用谷歌数据流计算文件中的总行数

Question

我想知道是否有办法使用谷歌数据流找出文件中的总行数。任何代码示例和指针都会有很大帮助。基本上，我有一个方法

int getCount(String fileName) {}

因此，上述方法将返回总行数，其实现将是数据流代码。

谢谢

Answer 1

似乎您的用例不需要分布式处理，因为文件已压缩，因此无法并行读取。但是，您可能仍然会发现使用 Dataflow API 很有用，因为它们易于访问 GCS 和自动解压。

由于您还希望将结果作为实际 Java 对象从管道中获取，因此您需要使用 Direct 运行程序，该运行程序在进程内运行，无需与 Dataflow 服务通信或进行任何分布式处理，但作为回报它提供了将PCollection 提取到Java 对象中的能力：

类似这样的：

PipelineOptions options = ...;
DirectPipelineRunner runner = DirectPipelineRunner.fromOptions(options);
Pipeline p = Pipeline.create(options);
PCollection<Long> countPC =
    p.apply(TextIO.Read.from("gs://..."))
     .apply(Count.<String>globally());
DirectPipelineRunner.EvaluationResults results = runner.run(p);
long count = results.getPCollection(countPC).get(0);