【发布时间】：2012-12-22 20:30:32
【问题描述】：
我是一名 Python 开发人员，拥有很好的 RDBMS 经验。我需要处理相当大量的数据（大约 500GB）。数据位于 s3 存储桶中的大约 1200 个 csv 文件中。我用 Python 编写了一个脚本，可以在服务器上运行它。但是，速度太慢了。根据目前的速度和数据量，通过所有文件大约需要 50 天（当然，截止日期在此之前是很好的）。
注意：处理是您的基本 ETL 类型的东西 - 没有什么可怕的幻想。我可以轻松地将其泵入 PostgreSQL 中的临时模式，然后在其上运行脚本。但是，再一次，从我最初的测试来看，这会很慢。
注意：一个全新的 PostgreSQL 9.1 数据库将是它的最终目的地。
所以，我正在考虑尝试启动一堆 EC2 实例以尝试分批（并行）运行它们。但是，我以前从未做过这样的事情，所以我一直在四处寻找想法等。
再说一次，我是一名 python 开发人员，所以 Fabric + boto 似乎很有希望。我不时使用过boto，但从未使用过Fabric。
我从阅读/研究中知道，这对于 Hadoop 来说可能是一项很棒的工作，但我不知道，也负担不起雇用它完成的费用，而且时间线不允许学习曲线或雇用某人.我也不应该，这是一种一次性的交易。所以，我不需要构建一个非常优雅的解决方案。我只需要让它工作，并能够在年底前获得所有数据。
另外，我知道这不是一个简单的 stackoverflow 问题（类似于“如何在 python 中反转列表”）。但是，我希望有人读到这篇文章并“说，我做了类似的事情并使用 XYZ ......这太棒了！”
我想我要问的是有没有人知道我可以用来完成这项任务的任何东西（鉴于我是一名 Python 开发人员并且我不了解 Hadoop 或 Java - 并且有一个紧张的阻止我学习 Hadoop 等新技术或学习新语言的时间表）
感谢阅读。我期待任何建议。
【问题讨论】：
-
fabric+boto 看起来确实是这个任务的好组合。在每个实例上并行化任务也可能是值得的（除非您期望有 1200 个实例，每个文件一个），也许可以使用来自
multiprocessing模块的Pool。此外，您解析文件和编辑结果的方式可能会对总时间产生很大影响。你看过numpy吗？ -
所以没有人会尝试重复可能的建议 - 您能否描述一下您在现有脚本中所做的工作太慢了 - 所以我们知道不要走那条路 :)
-
@JonClements - 似乎是一个公平的要求。基本上，我尝试了两种方法。我尝试将数据放入临时模式并对其进行索引（根据需要）并对它运行查询以“按摩”数据并将其转换为请求的格式。这太慢了，因为我相信索引比 PostgreSQL 缓存大得多。注意：我有一个在 Heroku 上运行的小型 PostgreSQL 实例。 （将在下一条评论中继续）
-
然后我尝试将我需要的所有数据加载到 python 字典中并通过将它们从 s3 中拉出并加载它们然后以正确的 CSV 格式将它们吐回然后对目标表进行“复制”。这可行，但只有 1 台服务器太慢。但是，我认为如果我采用它并在 100 台服务器上运行它，它将在我的期限内完成这项工作。
-
请注意。假期我请了一点假，但现在又开始工作了。项目完成后，我将选择一个答案（或发布我所做的）。感谢大家的 cmets/answers。
标签： python fabric boto data-processing