使用 Pandas(Python) 从 Google Drive 读取非常大的 csv 文件答案

【问题标题】：Use Pandas(Python) to read really big csv files from Google Drive使用 Pandas(Python) 从 Google Drive 读取非常大的 csv 文件
【发布时间】：2020-10-14 04:38:53
【问题描述】：

下午好！
在使用 pandas 从我的驱动器中读取大于 500MB 的 csv 数据文件时，我没有获取 csv 文件，而是收到“无法扫描大文件以查找病毒”HTML 页面。我已经尝试了很多，但找不到任何解决方法。谁能告诉我是否可以绕过它？

示例文件：- https://drive.google.com/file/d/1EQbD11iRnbXVJMZNTVExfrRP5WYIcAjk/view

Error Image

PS 有人还可以建议一个更好的（最好是免费的）服务来上传多个大的 csv 文件，这样我就可以使用 pandas 从中获取数据...我有 >40gb 的数据可以使用

谢谢:)

【问题讨论】：

我没用过，但谷歌有一个 API 可以帮助developers.google.com/drive/api/v3/quickstart/python
dropbox 有一个免费的 2 gig 帐户dropbox.com/basic
@Brennan 我会调查的 :)
@tdelaney 我实际上有大约 40 GB 的数据库：/ 我会在问题中提到这一点
现在我想起来了，没有免费的服务可以免费提供这么多的存储空间

标签： python pandas database csv google-drive-api

【解决方案1】：

我发现了这个，它在 2020 年 10 月 14 日对我有用，尽管它已从文档中删除：http://web.archive.org/web/20190621105530/https://developers.google.com/drive/api/v3/manage-downloads

【讨论】：