存储时间戳的最佳方式

Question

我有以下时间戳值：Wed Jun 25 09:18:15 +0000 2014。

我正在用 Python 编写一个 MapReduce 程序，它从 Amazon S3 位置读取 JSON 对象并将其导出到本地 CSV 文件。然后，CSV 文件会将数据导出到 MySQL 和 HBase 数据库。我有大约 2 亿条记录 (1 TB)，因此我需要优化每个处理步骤。

我应该使用哪种数据类型将 TimeStamp 值存储在 Python、CSV、MySQL 和 HBase 数据库中？我需要存储 TimeStamp 值的所有方面。我的架构在 CSV 文件、MySQL 和 HBase 数据库表中有 4 列。

谢谢！

Answer 1

使用 long 来表示时间（毫秒），因此您不必为 date formatting/string encoding 烦恼。它节省空间并且更容易执行范围查询。