我喜欢以“表格”的形式组织来自文献评论的大量信息（这些信息与产品比较不同，但用于科学研究），但我输入的信息通常可以包含文本的行或段落，并且在电子表格中变得笨拙.我听说 SQL 关系表经常用于此目的。对于数据分析，我使用 Python 或 R 从平面文本文件中解析数据并将其输入 SQLite。我应该只创建一个“标记”的文本文件并做同样的事情吗？我想知道人们使用什么界面来输入和查看这些文本繁重的表格？或者我想知道是否有其他软件可能适合此目的。
【问题讨论】：
标签： python sql database datatable
您存储和检索数据的方式取决于您打算如何使用它。
文本文件存在可管理性问题。您无法真正处理包含成千上万个文件的目录树。搜索它们将是一场噩梦。如果您同时更新，您将不得不处理锁和许多其他问题。它们并不是真正用于存储您要挖掘的大量数据。
关系数据库很好，但您必须将信息解析为有意义的位，将其分解为关系并将结果数据放入表中以使其有意义。将所有文本（经过一些预处理）转储到单个列中并不是很有用。我所说的结果是 SQL 数据库存储可以使用结构查询的“结构化”数据。
您可能会考虑的另一个想法是使用文档数据库。那里有很多，虽然我没有个人经验，但我听过 CouchDB 上的演示文稿，它将信息存储为 JSON 文档。您使用可以根据某些条件排序的脚本挖掘数据，然后取回排序后的文档。如果您正在处理大量文本数据，那么这绝对值得一试。有消息称，这些引擎比关系引擎更具可扩展性。
【讨论】：
All content with analysis == 'good'），您可以继续使用带有一些注释的普通旧文本文件在他们里面。