MySQL - 每天处理 2 亿多条记录

Question

我有一个 MySQL 表，每天需要存储大约 2 亿条记录。数据来自平面文件，我将使用“LOAD DATA INFILE”批量上传。大多数数据元素都是 ID，因此文本不多。一个包含 2 亿条记录的平面文件一天大约有 27GB。

我的问题是我应该将所有这些信息存储在一个表中，还是应该将每天的数据拆分到一个单独的表中。拆分信息肯定会使分析变得更加困难，但我不确定 MySQL 将在一个月内累积的单个表中处理 60 亿条记录的效果如何。

我目前正在使用 MyISAM 表对 MySQL 进行开箱即用安装。

（是的，我希望建立一个长期的 Hadoop 解决方案，但想知道我是否可以在短期内使用 MySQL）

谢谢。

Answer 1

是的，MySQL 可以在一个表中存储数十亿行。
请参阅我对Maximum number of records in a MySQL database table 的回复。

如何查询包含数十亿行的表是另一个问题。您应该查看Table Partitioning，并了解如何对表进行分区必须针对您需要对表运行的查询进行仔细设计。

另外，如果您不希望自己的数据损坏，请不要使用 MyISAM。使用 InnoDB。