将 postgreSQL 数据库加载到数据帧中时，如何处理 Flask 和 Heroku 中的“Memory Quota Vastly Exceeded”错误？答案

【问题标题】：How to deal with 'Memory Quota Vastly Exceeded' errors in Flask and Heroku when loading in postgreSQL databases into dataframes?将 postgreSQL 数据库加载到数据帧中时，如何处理 Flask 和 Heroku 中的“Memory Quota Vastly Exceeded”错误？
【发布时间】：2020-07-31 18:21:30
【问题描述】：

所以，基本上，我有一个网站供人们修改过滤器，然后单击“下载”，生成的 Excel 文件将包含数据（由他们的过滤器指定）。我的 postgreSQL 数据库中有大约 125,000 多个数据点，我目前使用一个简单的方法在后台加载它

df = pd.read_sql_query('select * from real_final_sale_data', con = engine)

唯一的问题是这很快就超过了 Heroku 在 1 dyno (512 MB) 上的内存容量，但我不明白为什么会发生这种情况或解决方案是什么。

例如，当我在我的计算机上运行它并执行 'df.info()' 时，它显示它只使用了大约 30 MB 的空间，所以当我阅读它时，它怎么会突然占用这么多 MB ?

非常感谢您的宝贵时间！

【问题讨论】：

指定chunksize 有帮助吗？ stackoverflow.com/a/29522443/13808319 请务必阅读 PostgreSQL 特定答案下的评论。

标签： postgresql flask heroku memory

【解决方案1】：

因此，最终可行的解决方案是仅使用一些过滤器作为对 SQL 的查询。即，我只是在没有从 SQL 中过滤任何内容的情况下进行选择 *，因此我的数据库有 120,000 行和 30 列，这对 Heroku 的测功机造成了一些压力，因此绝对建议在查询时使用分块或进行一些过滤数据库。

【讨论】：