使用 AWS 处理 .csv 数据的最佳方式

Question

所以每天我都会（自动）将大量 .csv 文件上传到我的 s3 存储桶中，我的下一步是将这些表加入/合并/concat/etc 进入更最终的状态，以便将其上传到 redshift。 为了做到这一点，你推荐我哪项服务？我分析了不同的方法：

s3 -> EC2 -> 使用 Python 处理数据 -> Redshift（我不认为这真的很有效） s3 -> Pipeline -> EMR -> Pipeline -> Redshift（我对 EMR 的了解为 0） 我可以处理它已经处于红移状态吗？还有其他方法吗？通常我会产生 1400 万行数据，所以它需要有点高效。

---

数据的操作只是合并或连接表。示例：

表 1：键、d1、d2、d3

表 2：键、d4、d5

redshift 上的预期表：key, d1, d2, d3, d4, d5

在另一种情况下，只是将一个放在另一个之下。

Answer 1

Redshift 可以轻松处理此问题，并且可能比您提到的方法快 100 倍。

使用COPY 将 CSV 加载到单独的暂存中，然后将它们插入到最终表中（并在需要时截断暂存表）。

INSERT INTO final_table
SELECT a.key, a.d1, a.d2, a.d3, b.d4, b.d5
FROM table_1 AS a
LEFT JOIN table_2 AS b
USING (key);