我必须每周执行两次任务。该任务包括从公共 ftp 服务器获取 1.4GB 的 csv 文件。然后我必须处理它（应用一些过滤器，丢弃一些行，进行一些计算），然后将其同步到 AWS RDS 上托管的 Postgres 数据库。对于每一行，我必须在数据库中检索一个 SKU 条目并确定它是否需要更新。
我的问题是 EC2 是否可以作为我的解决方案。我主要关心的是内存。我已经搜索了一些解决方案https://github.com/goodby/csv，它们通过逐行获取而不是将其全部拉到内存来处理这个问题，但是如果我尝试直接从FTP。
谁能提供一些见解？ AWS EC2 是解决这个问题的好平台吗？您将如何处理 csv 大小和内存限制的问题？
【问题讨论】：
if I try to read the .csv directly from the FTP. 请澄清一下，因为 FTP 协议不做“流式传输”。
标签： csv amazon-ec2 ftp amazon-rds
您将无法直接从 FTP 流式传输文件，而是要复制整个文件并将其存储在本地。使用 curl 或 ftp 命令可能是最有效的方法。
一旦你这样做了，你将需要编写某种程序，如果你可以并行化工作，一次或几行读取文件。有一些可用的 ETL 工具可以让这变得简单。使用 PHP 可以工作，但对于此类工作来说它不是一个非常有效的选择，并且您的并行化选项有限。
【讨论】：
当然，您可以在 EC2 实例上执行此操作（您几乎可以执行任何可以在 EC2 中提供代码的操作），但如果您只需要每周运行两次任务，EC2 实例将处于空闲状态，其余时间都在吃钱，除非您为每个任务运行手动停止并启动它。
scheduled AWS Lambda function 在这里可能更具成本效益且更合适。您的代码选项稍有限制，但您可以为 Lambda 函数提供相同的 IAM 权限以访问 RDS，并且它仅在计划或调用时运行。
【讨论】：
FTP 协议不做“流式传输”。您不能逐块从 Ftp 块中读取文件。
老实说，如果你每周只运行两次，下载文件并触发运行更大的实例没什么大不了的，你只需选择 r3.large（它的成本低于 0.20/小时），尽快执行并停止它。与 EBS 相比，内部 SSD 磁盘空间应该为您提供最佳的 I/O。
只需确保您的操作系统和代码部署在 EBS 中以供将来重用（除非您有自动代码部署机制）。并且您必须确保 RDS 能够处理突发 I/O，否则它将成为瓶颈。
更好的是，使用 r3.large 实例，您可以将 CSV 文件拆分为更小的块，并行加载它们，然后在一切完成后关闭实例。之后您只需支付最低的根 EBS 存储成本。
如果过程很长，我不建议使用 lambda，因为 lambda 仅用于短而快速的处理（它将在 300 秒后终止）。
（更新）： 如果你打开一个文件，解析它的简单方法是顺序读取它，它可能无法充分利用整个 CPU。您可以按照 answer here 的引用拆分 CSV 文件。
然后使用相同的脚本，您可以通过将一些发送到后台进程来同时调用它们，下面的示例显示了在 Linux 下将 python 进程置于后台。
parse_csvfile.py csv1 &
parse_csvfile.py csv2 &
parse_csvfile.py csv3 &
所以代替单个文件顺序 I/O，它将使用多个文件。此外，在 SSD 下拆分文件应该是轻而易举的事。
【讨论】：
所以我让它像这样工作。
我使用了 Python 和两个很棒的库。首先，我创建了一个 Python 代码来从 FTP 请求和下载 csv 文件，以便将其加载到内存中。第一个包是Pandas，这是一个分析大量数据的工具。它包括轻松从 csv 读取文件的方法。我使用包含的功能进行过滤和排序。我通过一个字段过滤了大 csv，并创建了大约 25 个新的较小的 csv 文件，这使我能够处理内存问题。我也使用了Eloquent，这是一个受 Laravel 的 ORM 启发的库。该库允许您使用 AWS 公共 DNS、数据库名称、用户名和密码创建连接，并使用简单的方法进行查询，而无需编写单个 Postgres 查询。最后，我创建了一个 T2 微型 AWS 实例，安装了 Pandas，Eloquent 更新了我的代码，就是这样。
【讨论】：