MySQL 的动态分区

Question

我正在尝试为我的test 表按分区进行动态拆分，该表在启动此脚本之前有 2 个分区 p0 和 p1：

DROP PROCEDURE IF EXISTS part_splitting;

DELIMITER //
CREATE PROCEDURE part_splitting()
BEGIN

SELECT DATE_FORMAT(MIN(createdOn), "%Y-%m-%d") INTO @s FROM test;
SELECT DATE_FORMAT(MAX(createdOn), "%Y-%m-%d") + INTERVAL 1 MONTH INTO @e FROM test;
    SET @part_init := CONCAT( `ALTER TABLE test
    PARTITION BY RANGE COLUMNS(createdOn) (
     PARTITION p0 VALUES LESS THAN (`,@s,`)
    )`);
  PREPARE stmt1 FROM @part_init;
  EXECUTE stmt1;

  WHILE @s < @e DO
    SELECT CONCAT('p', DATE_FORMAT(@s,'%y/%m/%d')) INTO title

    SET @part_adding := CONCAT(`ALTER TABLE test ADD PARTITION (PARTITION `,title,` VALUES LESS THAN(`,DATE_FORMAT(@s,'%y/%m/%d'),`))`);
    PREPARE stmt2 FROM @part_adding;
    EXECUTE stmt2;
    
    SET @s = @s + INTERVAL 1 day;
  END WHILE;
END //
DELIMITER ;

CALL part_splitting(); 

目前，执行后出现此错误：

SQL Error [1054] [42S22]: Unknown column 'ALTER TABLE test
    PARTITION BY RANGE COLUMNS(createdOn) (
     PARTITION p0 VALUES LESS THAN (' in 'field list'
  Unknown column 'ALTER TABLE test
    PARTITION BY RANGE COLUMNS(createdOn) (
     PARTITION p0 VALUES LESS THAN (' in 'field list'
  Unknown column 'ALTER TABLE test
    PARTITION BY RANGE COLUMNS(createdOn) (
     PARTITION p0 VALUES LESS THAN (' in 'field list'

这里的关键思想是每周通过 SQL 事件动态创建分区，并从表中的最小天开始到最后一个日期加上提前 1 个月按天分割

这里有人有什么想法吗？ 感谢您的帮助！

更新：

KUDOS 到 @Bill Karwin 寻求答案 - 真的很酷！

所以我终于有了这个工作语法：

DROP PROCEDURE IF EXISTS part_splitting;

DELIMITER $$
CREATE PROCEDURE part_splitting()
BEGIN

SELECT DATE_FORMAT(MIN(createdOn), "%Y-%m-%d") INTO @s FROM test;
SELECT DATE_FORMAT(MAX(createdOn), "%Y-%m-%d") + INTERVAL 1 MONTH INTO @e FROM test;
    SET @part_init := CONCAT( 'ALTER TABLE test
    PARTITION BY RANGE COLUMNS(createdOn) (
     PARTITION p0 VALUES LESS THAN (',QUOTE(@s),'),
     PARTITION pMax VALUES LESS THAN(MAXVALUE)
    )');
  PREPARE stmt1 FROM @part_init;
  EXECUTE stmt1;

  WHILE @s < @e DO
    SET @s = @s + INTERVAL 1 day;
    SELECT CONCAT('p', DATE_FORMAT(@s,"%Y%m%d")) INTO @title;

    SET @part_adding := CONCAT('ALTER TABLE test ADD PARTITION ( PARTITION ',@title,' VALUES LESS THAN (',QUOTE(@s),') );');
    PREPARE stmt2 FROM @part_adding;
    EXECUTE stmt2;
  END WHILE;

END 
$$
DELIMITER ;

CALL part_splitting();

但是：

看起来这种定期运行和动态添加新分区的方法不起作用，因为我们遇到了错误： "Error Code: 1493. VALUES LESS THAN value must be strictly increasing for each partition 这来自之前创建某些分区时的情况。

目前，我不知道如何在循环中跳过这些步骤。看起来我们每次都可以使用...REORGANIZE PARTITION pMax...，但为此，我们需要知道pMax之前的最后日期条件，它是在上次运行时创建的。 （但我猜这是另一个故事......）

Answer 1

好的，错误的原因是您在应该使用单引号时使用了反引号。

SET @part_init := CONCAT( `ALTER TABLE...
                          ^

这会使您的整个 ALTER TABLE... 字符串被解释为 SQL 标识符，而不是字符串。所以解析器试图找到一个名称与该字符串匹配的表或列，当然它不能。

除了这个问题，你在开发这个问题时还会遇到其他问题。

CONCAT( 'ALTER TABLE test
PARTITION BY RANGE COLUMNS(createdOn) (
 PARTITION p0 VALUES LESS THAN (',@s,'))')
                               ^      ^

@s 的值是一个日期，对吧？但是您正在格式化的 SQL 不会在日期周围加上引号。所以它最终会是这样的：

...VALUES LESS THAN(2021-12-21)

这不是错误，但它不会按照您的想法进行。它将计算算术表达式 2021 减 12 减 21，返回 1988。

你需要用这样的引号来格式化日期：

...VALUES LESS THAN('2021-12-21')

一个简单的方法是这样的：

CONCAT( 'ALTER TABLE test
PARTITION BY RANGE COLUMNS(createdOn) (
 PARTITION p0 VALUES LESS THAN (',QUOTE(@s),'))')

还有其他问题。

除非您在执行此操作之前将表截断为零行，否则您的初始 ALTER TABLE 将不起作用，因为根据定义，单个分区仅存储小于最小值的值。因此，其他现有数据行没有分区。你试过了吗？

逐个添加分区将导致至少几十个 ALTER TABLE 语句，如果不是数百个。这样做需要很长时间，而且没有必要。您应该在一个 ALTER TABLE 语句中重新分区整个表。

您应该学习如何使用 DROP PARTITION 和 REORGANIZE PARTITION。这个留给你查手册吧。

最后，对像createdOn 这样的列进行分区，我会询问该列是否是表中每个主键或唯一键的一部分。这是分区列的要求。阅读https://dev.mysql.com/doc/refman/8.0/en/partitioning-limitations-partitioning-keys-unique-keys.html

---

回复：

我对此进行了测试：

DELIMITER $$
CREATE PROCEDURE part_splitting()
BEGIN

    SELECT DATE_FORMAT(MIN(createdOn), "%Y-%m-%d") INTO @s FROM test;
    SELECT DATE_FORMAT(MAX(createdOn), "%Y-%m-%d") + INTERVAL 1 MONTH INTO @e FROM test;
    SET @partition_sql = CONCAT( 'ALTER TABLE test
    PARTITION BY RANGE COLUMNS(createdOn) (
     PARTITION p0 VALUES LESS THAN (',QUOTE(@s),')');

    WHILE @s < @e DO
      SET @s = @s + INTERVAL 1 day;
      SET @partition_sql = CONCAT(@partition_sql, ',
     PARTITION p', DATE_FORMAT(@s,"%Y%m%d"), ' VALUES LESS THAN (',QUOTE(@s),')');
    END WHILE;

    SET @partition_sql = CONCAT(@partition_sql, ', 
     PARTITION pMax VALUES LESS THAN (MAXVALUE)
    );');

    SELECT @partition_sql;

END 
$$
DELIMITER ;

输出：

ALTER TABLE test
    PARTITION BY RANGE COLUMNS(createdOn) (
     PARTITION p0 VALUES LESS THAN ('2021-12-21'), 
     PARTITION p20211222 VALUES LESS THAN ('2021-12-22'), 
     PARTITION p20211223 VALUES LESS THAN ('2021-12-23'), 
     ...one for each day...
     PARTITION p20220121 VALUES LESS THAN ('2022-01-21'),
     PARTITION pMax VALUES LESS THAN (MAXVALUE)
    );

我只输出了 ALTER TABLE 语句，但您可以改为 PREPARE & EXECUTE。关键是循环附加了更多的分区子句，因此整个 ALTER TABLE 一步完成，而不是在每次循环迭代中每个分区一个 ALTER TABLE。