MySQL 添加长文本列使查询非常慢 - 任何性能提示？答案

【问题标题】：MySQL adding longtext column making query extremely slow - any performance tip?MySQL 添加长文本列使查询非常慢 - 任何性能提示？
【发布时间】：2020-01-14 21:50:20
【问题描述】：

我有一张名为 stories 的表，目前有 1200 万条记录，正在生产中。

CREATE TABLE `stories` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `headline` varchar(255) DEFAULT NULL,
  `author_id` int(11) DEFAULT NULL,
  `body` longtext NOT NULL,
  `published_at` datetime DEFAULT NULL,
  `type_id` int(11) NOT NULL DEFAULT '0',
  `created_at` datetime DEFAULT NULL,
  `updated_at` datetime DEFAULT NULL,
  `aasm_state` varchar(255) NOT NULL,
  `deleted` tinyint(1) DEFAULT '0',
  `word_count` int(11) NOT NULL DEFAULT '0',
  PRIMARY KEY (`id`),
  UNIQUE KEY `index_stories_on_cms_story_id` (`cms_story_id`),
  KEY `typeid` (`type_id`),
  KEY `index_stories_on_published_at` (`published_at`),
  KEY `index_stories_on_updated_at` (`updated_at`),
  KEY `index_stories_on_aasm_state_and_published_at_and_deleted` (`aasm_state`,`published_at`,`deleted`),
  KEY `idx_author_id` (`author_id`)
) ENGINE=InnoDB AUTO_INCREMENT=511625276 DEFAULT CHARSET=utf8;

我正在执行以下查询：（只是获取 id 运行良好）

SELECT  `stories`.id 
  FROM `stories` 
 WHERE `stories`.`aasm_state` = 'scheduled'  
   AND `stories`.`deleted` = 0 
   AND (`stories`.`published_at` <= '2020-01-14 06:16:04') 
   AND (`stories`.`id` > 519492608)  
 ORDER 
    BY `stories`.`id` ASC 
  LIMIT 1000;
...
1000 rows in set (0.59 sec)

但是，当我向其中添加长文本列时，我得到：

mysql> SELECT  `stories`.id
, `stories`.body 
FROM `stories` 
WHERE `stories`.`aasm_state` = 'scheduled' 
AND `stories`.`deleted` = 0 
AND (`stories`.`published_at` <= '2020-01-14 06:16:04') 
AND (`stories`.`id` > 519492608)  
ORDER BY `stories`.`id` ASC LIMIT 1000;
...
1000 rows in set (6 min 34.11 sec)

有关如何处理此表的任何性能提示？

【问题讨论】：

你能用EXPLAIN结果更新你的问题吗？
另外，您使用的是MyISAM 还是InnoDB？
InnoDB @JaredDunham
@JaredDunham 解释中的任何特定列，会有用吗？ (select_type,type,possible_keys,key,key_len,rows,filtered,Extra)
长文本列的平均大小是多少？如果每条记录有 1GB 数据，那么 6 分钟大约 1TB 还不算太糟糕……

标签： mysql sql sqlperformance

【解决方案1】：

通常，关系 DBMS 将在检索初始结果集后应用 ORDER BY - 因此它需要加载所有这些故事然后对它们进行排序。我无权访问您的记录集，但我猜测，在检索批量内容之前应用排序可能会提高性能：

SELECT *
FROM (
   SELECT  `stories`.id 
   FROM `stories` 
   WHERE `stories`.`aasm_state` = 'scheduled'  
   AND `stories`.`deleted` = 0 
   AND (`stories`.`published_at` <= '2020-01-14 06:16:04') 
   AND (`stories`.`id` > 519492608)  
   ORDER BY `stories`.`id` ASC 
   LIMIT 1000
) ids 
INNER JOIN stories bulk
ON ids.id=bulk.id

（顺便说一句，您可能会考虑更多地研究索引 - 您放在这里的内容看起来相当可疑）。

【讨论】：

感谢@symcbean，一定会的，伟大而简单的建议，帮助很大！

【解决方案2】：

我推荐这个索引顺序：

INDEX(`aasm_state`,`deleted`,id)

将= 测试放在首位
以匹配ORDER BY的范围结束；希望这将避免在到达LIMIT 之前收集大量行并对其进行排序。

这个索引可以帮助查询的所有变体。

【讨论】：