Python 软件开发（CSV to Pandas to SQL 或 CSV to SQL to Pandas）

Question

我有多个要操作的 csv 文件（计算平均值、总和等），然后我想将它们存储在 SQLite 数据库中。

但我想知道最合适的方法是什么。

CSV 到 SQL 并使用 Pandas 进行操作

或

CSV，用 Pandas 操作并存储在 SQL 中

比如我想把这张表http://financials.morningstar.com/ratios/r.html?t=GOOG&region=USA&culture=en-US的所有数据都存起来。 我将每年更新并添加 2013、2014 等。在我的 SQL 表中。 我将创建一个列，其中每行都有 10 年的平均值，等等。

问候，

Answer 1

目前，pandas 对操作 CSV 文件的支持远远超出了其操作 SQL 数据库的能力，尽管目前正在大力改进后者！

看看the read_csv docs。这是目前用于数据分析应用程序的最灵活、最快速且功能最强大的文本文件读取器/写入器之一。

另一方面，read_sql 只能写入sqlite 数据库并且不存储index。

使用read_csv，您甚至可以读取MultiIndex 对象（分层索引）！

如果您没有绑定到数据库，那么我建议您考虑使用 pandas HDF5 来实现持久性。我一直在使用它，效果很好。

总之，如果您必须使用数据库，我会推荐您列出的第一选择，因为除非您使用sqlite，否则向数据库写入任何内容都行不通，但是您可以从sqlite以外的其他人那里读到。