使用数据流作业处理大型 CSV

Question

我正在尝试使用 GCP 数据流作业处理 6GB CSV 文件（在 GZ 中为 750 MB）。我使用 machineType 作为 n1-standard-4，它是 15GB RAM 大小和 4vCPU。

我的数据流代码

PCollection<TableRow> tableRow = lines.apply("ToTableRow", ParDo.of(new 
StringToRowConverter()));

static class StringToRowConverter extends DoFn<String, TableRow> {
    private static final long serialVersionUID = 1L;
    @ProcessElement
    public void processElement(ProcessContext c) {
        String inputLine = c.element();
        String[] split = inputLine.split(",");
        TableRow output = new TableRow();
       c.output(new TableRow().set("id", split[0]).set("apppackage", split[1]));
         }
}

1. 我的作业自过去 2 小时以来一直在运行，但仍未处理。
2. 一旦我手动将这个大文件分成小部分，它就可以正常工作。
3. 我必须处理 400GB 的压缩文件才能放入 bigquery。所有压缩文件都在 GCP 存储中。

我的问题是如果在这么长时间内只处理 6GB 文件，我该如何处理 400GB 的压缩文件？

有什么方法可以优化这个过程，以便我能够在我的 BQ 中插入这些数据。

Answer 1

CSV 中的 6GB 数据不多。 CSV 只是存储数值数据的一种非常低效的方式，对于类似字符串的数据，它仍然会带来很大的开销并且难以解析，并且无法在静止时寻找特定的位置（需要先解析）。因此，我们可以非常乐观地认为这实际上会奏效，数据方面。这是一个导入问题。

不要滚动你自己的解析器。例如：文本中包含, 的字段呢？有足够的 CSV 解析器。

您说您希望将这些数据输入您的 BigQuery - 所以按照谷歌的方式并遵循：

https://cloud.google.com/bigquery/docs/loading-data-local#bigquery-import-file-java

因为 bigquery 已经自带支持 CSV 的 Builder。