我可以使用 Heroku 抓取数据以供以后下载吗？

Question

我有一个 Python 脚本，可以抓取来自不同网站的数据，然后将一些数据写入 CSV 文件。

我每天都在本地计算机上运行它，但我想让它在服务器上自动运行并且可能是免费的。

我尝试了 PythonAnywhere，但看起来他们的白名单阻止了我抓取bloomberg.com。

然后我传递给 Heroku，我部署了我的工人（python 脚本）。一切似乎都正常，但是使用 Heroku bash 查找 python 脚本应该写入 CSV 文件的目录没有出现。

我还意识到，我不知道如何下载这些 CSV 文件，以防它们被写入。

我想知道我是否真的可以使用 Heroku 实现我想要实现的目标，或者让 python 脚本在服务器上运行的唯一方法是支付 PythonAnywhere 并避免抓取限制？

Answer 1

Heroku 的文件系统是 per-dyno 和短暂的。您不得将内容保存到其中以备后用。

另一种方法是将其写入永久位置，例如 Amazon S3。您可以为此使用boto 库。虽然您必须为 S3 存储和数据付费，但它非常便宜。