rails 3.1 - 将数据从本地数据处理服务器移动到 heroku 生产服务器答案

【问题标题】：rails 3.1 - moving data from local data processing server to heroku production serverrails 3.1 - 将数据从本地数据处理服务器移动到 heroku 生产服务器
【发布时间】：2011-11-19 16:10:41
【问题描述】：

我正在构建一个 rails 3.1 应用程序，该应用程序需要在本地服务器上处理和处理大量数据（使用一堆非 Rails 工具并写入 mysql），然后将精炼的结果进行提升到 Heroku 生产服务器（前端）。因为该过程的数据处理方面需要分批运行，所以我的第一反应就是使用“heroku db:push --tables data”之类的东西将结果表上传到生产环境——但问题是它是 sslloowww 和该应用程序一次大约 40 分钟没有数据。处理批次需要每天运行大约 4 次 - 所以看起来这种方法并不能真正奏效。有什么建议可以加快这个过程，或者有什么替代方案可以让数据不那么突兀地传输到生产服务器？谢谢！

【问题讨论】：

需要上传多少数据？这一切都必须一次完成，还是您的数据是以较小的块生成的？
嗨 - 总共大约有 100 万条记录。数据需要分批计算，但不一定要一次性上传到heroku（可以滴灌）

标签： mysql ruby-on-rails heroku ruby-on-rails-3.1

【解决方案1】：

听起来您可能需要重新架构，或者在 EC2 上运行您的 rails 应用程序并放弃 Heroku 怎么办？如果您的应用程序很简单，或者您可以使用他们拥有的插件，我认为 Heroku 很棒。但是当它变得复杂时，我认为它可能太复杂了。

Heroku 明确表示您无法从外部访问他们的数据库。但是，您可以做的是（如果您想继续使用 Heroku）是使用另一个数据库（例如 RDS 或滚动您自己的数据库）并让您的应用程序连接到它。然后直接将数据上传到那个数据库。

【讨论】：