如何按日期时间列对表进行分区？

Question

我想按日期时间列对 mysql 表进行分区。一天一个分区。建表脚本是这样的：

CREATE TABLE raw_log_2011_4 (
  id bigint(20) NOT NULL AUTO_INCREMENT,
  logid char(16) NOT NULL,
  tid char(16) NOT NULL,
  reporterip char(46) DEFAULT NULL,
  ftime datetime DEFAULT NULL,
  KEY id (id)
) ENGINE=InnoDB AUTO_INCREMENT=286802795 DEFAULT CHARSET=utf8
PARTITION BY hash (day(ftime)) partitions 31;

但是当我选择某天的数据时，找不到分区。select语句是这样的：

explain partitions select * from raw_log_2011_4 where day(ftime) = 30;

当我使用另一个语句时，它可以找到分区，但我无法选择某一天的数据。

explain partitions select * from raw_log_2011_4 where ftime = '2011-03-30';

有没有人告诉我如何选择某一天的数据并利用分区。谢谢！

Answer 1

HASH 分区对于日期时间列来说是一个非常糟糕的主意，因为它不能使用partition pruning。来自 MySQL 文档：

修剪只能用于分区表的整数列 哈希或密钥。例如，表 t4 上的这个查询不能使用剪枝 因为 dob 是 DATE 列：

SELECT * FROM t4 WHERE dob >= '2001-04-14' AND dob <= '2005-10-15';

但是，如果表将年份值存储在 INT 列中，则 具有 WHERE year_col >= 2001 AND year_col

因此您可以将 TO_DAYS(DATE()) 的值存储在额外的 INTEGER 列中以使用修剪。

另一种选择是使用 RANGE 分区：

CREATE TABLE raw_log_2011_4 (
  id bigint(20) NOT NULL AUTO_INCREMENT,
  logid char(16) NOT NULL,
  tid char(16) NOT NULL,
  reporterip char(46) DEFAULT NULL,
  ftime datetime DEFAULT NULL,
  KEY id (id)
) ENGINE=InnoDB AUTO_INCREMENT=286802795 DEFAULT CHARSET=utf8
  PARTITION BY RANGE( TO_DAYS(ftime) ) (
    PARTITION p20110401 VALUES LESS THAN (TO_DAYS('2011-04-02')),
    PARTITION p20110402 VALUES LESS THAN (TO_DAYS('2011-04-03')),
    PARTITION p20110403 VALUES LESS THAN (TO_DAYS('2011-04-04')),
    PARTITION p20110404 VALUES LESS THAN (TO_DAYS('2011-04-05')),
    ...
    PARTITION p20110426 VALUES LESS THAN (TO_DAYS('2011-04-27')),
    PARTITION p20110427 VALUES LESS THAN (TO_DAYS('2011-04-28')),
    PARTITION p20110428 VALUES LESS THAN (TO_DAYS('2011-04-29')),
    PARTITION p20110429 VALUES LESS THAN (TO_DAYS('2011-04-30')),
    PARTITION future VALUES LESS THAN MAXVALUE
  );

现在下面的查询将只使用分区 p20110403：

SELECT * FROM raw_log_2011_4 WHERE ftime = '2011-04-03';

Answer 2

您好，您在表定义中进行了错误的分区，表定义如下：

CREATE TABLE raw_log_2011_4 (
  id bigint(20) NOT NULL AUTO_INCREMENT,
  logid char(16) NOT NULL,
  tid char(16) NOT NULL,
  reporterip char(46) DEFAULT NULL,
  ftime datetime DEFAULT NULL,
  KEY id (id)
) ENGINE=InnoDB AUTO_INCREMENT=286802795 DEFAULT CHARSET=utf8
PARTITION BY hash (TO_DAYS(ftime)) partitions 31;

你的选择命令是：

explain partitions 
    select * from raw_log_2011_4 where TO_DAYS(ftime) = '2011-03-30';

上面的命令会选择所有需要的日期，就像你使用 TO_DAYS 命令一样

mysql> SELECT TO_DAYS(950501);
        -> 728779
mysql> SELECT TO_DAYS('2007-10-07');
        -> 733321

为什么要使用 TO_DAYS AS MySQL 优化器将识别两个基于日期的函数来进行分区修剪： 1.TO_DAYS() 2.YEAR()

这会解决你的问题..

Answer 3

我最近在http://dev.mysql.com/tech-resources/articles/mysql_55_partitioning.html 阅读了一篇与此相关的 MySQL 博客文章。

5.1 之前的版本需要特殊操作才能根据日期进行分区。上面的链接讨论了它并显示了示例。

5.5 及更高版本允许您使用非数字值（例如日期和字符串）进行直接分区。

Answer 4

不要使用CHAR，使用VARCHAR。这将节省大量空间，从而减少 I/O，从而加快查询速度。

reporterip: (46) 对于 IP 地址来说太大了，即使是 IPv6。请参阅My blog 进行进一步讨论，包括如何将其缩小到 16 字节。

PARTITION BY RANGE(TO_DAYS(...)) 正如@Steyx 建议的那样，但分区不超过 50 个。尽管进行了“修剪”，但您拥有的分区越多，查询速度就越慢。 HASH 分区基本没用。

More discussion of partitioning, especially the type you are looking at。这包括随着时间推移的一组滑动分区的代码。