【问题标题】:sqlite3 or CSV filessqlite3 或 CSV 文件
【发布时间】:2014-03-25 11:26:20
【问题描述】:

首先,我在这方面完全是个菜鸟。我一直在努力设置一个小型 GUI 应用程序来使用数据库,主要是具有大量行的 Microsoft Excel 文件。我希望能够显示其中的一部分,我希望能够通过菜单选择我正在使用的列,这样我就可以非常有效地执行不同的任务。

我一直在研究 .CSV 文件。我可以用它创建某种列表或字典(不确定),或者我可以将 excel 表导入数据库,然后使用我的 GUI 执行我需要的操作。现在我的问题是,对于我刚刚描述的这种类型的任务,这两种方法中哪一种最适合? (如果有更好的欢迎告诉我)

【问题讨论】:

    标签: python excel csv sqlite


    【解决方案1】:

    这将取决于您的应用程序的要求以及您计划在未来如何扩展或维护它。

    支持 sqlite 的几点:

    • 标准化界面,SQL - 使用 CSV,您可以创建一些自定义逻辑来选择列或过滤行
    • 在更大数据集上的性能 - 将 10M 行的 CSV 加载到内存中可能会很困难,而在 sqlite 中处理 10M 行则不是问题
    • sqlite3 在 python 标准库中(但是,CSV 也在)

    也就是说,还请查看pandas,它使处理适合内存的表格数据变得轻而易举。 Plus pandas 会很乐意直接从 Excel 和其他来源导入数据:http://pandas.pydata.org/pandas-docs/stable/io.html

    【讨论】:

    • 让我补充一点,您可以使用 pandas 和 many IO readers/writers 直接从 Excel 读取并写入 SQL、CSV 或 HDF5,如果您愿意:)
    • 谢谢,这会有所帮助!
    猜你喜欢
    • 1970-01-01
    • 2011-04-26
    • 2015-11-04
    • 1970-01-01
    • 2015-02-06
    • 2019-01-15
    • 2016-07-11
    • 1970-01-01
    相关资源
    最近更新 更多