使用 AWS Lambda 将 .txt 文件转换为 .csv 文件答案

【问题标题】：Converting .txt files to .csv files using AWS Lambda使用 AWS Lambda 将 .txt 文件转换为 .csv 文件
【发布时间】：2021-01-07 04:59:54
【问题描述】：

我正在尝试使用 AWS DataBrew 来清理和规范化放入 S3 存储桶中的传入数据。但是，我从客户那里收到的大部分数据都是 .txt 格式，DataBrew 不接受这种格式作为输入格式。

因此，我正在寻找一种将传入的 .txt 文件自动转换为 .csv 文件的方法，以便 DataBrew 可以处理这些文件。我最初的想法是 AWS Lambda 可能最适合这项工作。

我可以想象我不是第一个遇到这个问题的人，因此非常感谢可以提供的任何帮助。如果有人开发了可以实现此目的的 Lambda 函数，我将非常感谢您分享您的代码。

或者，如果有更简单的方法在 AWS DataBrew 中处理 .txt 文件，我欢迎提供任何见解。

【问题讨论】：

编写一个基于 Java 的 Lambda 函数，获取 TXT 文件并将它们转换为 CSV。例如 - 见stackoverflow.com/questions/22526679/parse-txt-to-csv。这将提供您正在寻找的解决方案。

【解决方案1】：

首先，AWS DataBrew 无法转为 .txt 文件格式。我们可以看到 AWS doc 的输入格式是由 DataBrew 识别。

是的，您可以通过 lambda 将 .File 转换为 CSV，如下所示。

const fs = require('fs');

csv()
.from(fs.createReadStream('./test.txt'))
.to(fs.createWriteStream('./file.csv'))

对于这方面的工作，您可以查看此文档export-to-csv。这将帮助您涵盖 .txt 文件中存在的任何类型的数据。

【讨论】：