【发布时间】：2012-08-18 11:06:33
【问题描述】：
My-SQL 数据库中有 2 个主表。
Table1 is -> Master
Table2 is -> Stock
主表有大约 500K（50 万）行，每一行都是独一无二的。主表的每一列都有一个外键（下面附上示例）
Stock 表目前大约有 20K 行；在不久的将来它可以达到 300K。
问题
我的问题是我正在对这些表执行 SQL 查询，目前这需要未知时间。所以想知道，如何提高 MySQL 数据库的性能以加快 SQL 查询的执行时间。
SQL 查询执行以下操作：
搜索主表 -> 搜索库存表 -> 更新主表
我正在通过 PHP 文件执行 SQL 查询，我在浏览器中运行以完成上述步骤。因为 Master 表有超过 500K 的记录，我一次只调用 1,000 条记录，并执行上述步骤，再次迭代到下一批 1,000 条记录，并这样做直到 Master 表结束。
我通过使用 ---
来实现这一点
for 循环用于搜索表；总共大约 5390 个周期
while 循环搜索 Stock 并更新主表。
测试
出于测试目的，我将 Stock 表缩减为仅 100 条记录，并保留 Master 的所有 539K 记录以检查执行时间。
大约需要 140 ~ 150 秒。
脚本
我在下面附上了我的脚本
<?php
set_time_limit(36000);
$dbhost='localhost';
$dbuser='root';
$dbpass='';
$conn = mysql_connect($dbhost, $dbuser, $dbpass);
mysql_select_db("pmaster",$conn);
if (!$conn) { die('Could not connect : '.mysql_error()); }
$trecssql = "select count(distinct `Id`) Total from `Master`";
$trecs = mysql_fetch_assoc(mysql_query($trecssql));
$trecs = $trecs['Total'];
$recspt = 1000; // Records Per Transactions 539000
$trecs = ceil($trecs/$recspt);
$startrow = 1;
$endrow = 1000;
//$trecs = 50; // Comment it to work as normal.
$start_time = microtime(true);
这是批次的循环
for ($i=1; $i<=$trecs; $i++) {
这是获取主行批次的查询
$mastersql = "select `Id`,
`Attribute1`, `Attribute2`,
`Attribute3`, `Attribute4`, `Attribute5`
from `Master`
where Id between ".$startrow." and ".$endrow;
$this_mastersql = mysql_query($mastersql);
$updatesql = '';
这是处理批处理的循环
while($master_rec = mysql_fetch_assoc($this_mastersql)) {
这是一个查询，它汇总了 Master 中每个项目的 Stock 内容。
$searchsql = "select min(Price) minprice,
avg(Price) avgprice,
max(Price) maxprice,
Currency from `Stock`
where Name1 = '".$master_rec['Attribute1']."'
AND Name2 = '".$master_rec['Attribute2']."'
AND Name3 = '".$master_rec['Attribute3']."'
AND Name4 = '".$master_rec['Attribute4']."'
AND Name5 = '".$master_rec['Attribute5']."';";
$this_searchsql = mysql_query($searchsql);
$search_rec = mysql_fetch_assoc($this_searchsql);
这是更新主表的查询。
$updatesql .= "update `Master`
set `MinP` = '".$search_rec['minprice']."',
`AvgP` = '".$search_rec['avgprice']."',
`MaxP` = '".$search_rec['maxprice']."',
`Currency` = '".$search_rec['currency']."'
where Id = '".$master_rec['Id']."';";
}
mysql_query($updatesql);
$startrow = $endrow+1;
$endrow = $startrow+999;
}
$end_time = microtime(true);
echo 'Updated <br /><br />';
echo "Scripts Execution time <br />";
echo "Time in Hours : Minutes : Seconds <br />"
.gmdate("H:i:s", $time_elapsed = $end_time - $start_time);
echo "<br /> <br /> Time in Seconds ".$time_elapsed;
?>
表结构
附上Excel文件中Master表的示例。
https://docs.google.com/open?id=0B8Oew7S4GzgiQk5tbUZKdXVEUms
CREATE TABLE IF NOT EXISTS `Attribute1` (
`Id` int(3) NOT NULL,
`Name` varchar(50) NOT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
CREATE TABLE IF NOT EXISTS `Attribute2` (
`Id` int(10) NOT NULL,
`Name` decimal(3,2) NOT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
CREATE TABLE IF NOT EXISTS `Attribute3` (
`Id` int(3) NOT NULL,
`Name` varchar(5) NOT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
CREATE TABLE IF NOT EXISTS `Attribute4` (
`Id` int(3) NOT NULL,
`Name` varchar(20) NOT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
CREATE TABLE IF NOT EXISTS `Attribute5` (
`Id` int(3) NOT NULL,
`Name` varchar(100) NOT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
CREATE TABLE IF NOT EXISTS `Master` (
`Id` int(20) NOT NULL AUTO_INCREMENT,
`Attribute1` varchar(50) DEFAULT NULL,
`Attribute2` decimal(3,2) DEFAULT NULL,
`Attribute3` varchar(5) DEFAULT NULL,
`Attribute4` varchar(20) DEFAULT NULL,
`Attribute5` varchar(100) DEFAULT NULL,
`MinP` decimal(10,2) DEFAULT NULL,
`AvgP` decimal(10,2) DEFAULT NULL,
`MaxP` decimal(10,2) DEFAULT NULL,
`Currency` varchar(5) DEFAULT NULL,
PRIMARY KEY (`Id`),
KEY `Attribute1` (`Attribute1`),
KEY `Attribute2` (`Attribute2`),
KEY `Attribute3` (`Attribute3`),
KEY `Attribute4` (`Attribute4`),
KEY `Attribute5` (`Attribute5`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 AUTO_INCREMENT=1 ;
--
-- Constraints for table `Master`
--
ALTER TABLE `Master`
ADD CONSTRAINT `Master_ibfk_1` FOREIGN KEY (`Attribute1`) REFERENCES
`Attribute1` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
ADD CONSTRAINT `Master_ibfk_2` FOREIGN KEY (`Attribute2`) REFERENCES
`Attribute2` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
ADD CONSTRAINT `Master_ibfk_3` FOREIGN KEY (`Attribute3`) REFERENCES
`Attribute3` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
ADD CONSTRAINT `Master_ibfk_4` FOREIGN KEY (`Attribute4`) REFERENCES
`Attribute4` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
ADD CONSTRAINT `Master_ibfk_5` FOREIGN KEY (`Attribute5`) REFERENCES
`Attribute5` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE;
CREATE TABLE `pmaster`.`Stock` (
`Id` int( 10 ) NOT NULL AUTO_INCREMENT ,
`Name1` varchar( 10 ) NOT NULL ,
`Name2` decimal( 5, 2 ) NOT NULL ,
`Name3` varchar( 5 ) NOT NULL ,
`Name4` varchar( 5 ) NOT NULL ,
`Name5` varchar( 40 ) NOT NULL ,
`OtherFields1` varchar( 20 ) NOT NULL ,
`OtherFields2` varchar( 25 ) NOT NULL ,
`SoOn` varchar( 15 ) NOT NULL ,
`Price` decimal( 15, 2 ) NOT NULL ,
`Currency` varchar( 5 ) NOT NULL ,
PRIMARY KEY ( `id` ) ,
) ENGINE = InnoDB DEFAULT CHARSET = latin1;
目前，Stock 表中只有 100 条记录需要大约 140 到 150 秒，并且随着记录的增加，它需要多种时间，并且有 20K 条记录需要很长时间，还没有尝试过总共需要多少时间，但最后当脚本运行超过 3 个小时时，我不得不退出，因为 Master 表中没有一条记录被更新。
意味着它可能只是完成的 1% 到 2%，或者可能更少。
任何想法的朋友如何能以更快的方式完成。
如果您需要这些数据库的数据，请告诉我将在此处生成并上传。
【问题讨论】：
-
数据有索引吗？如果没有，请立即添加。它将有更多的存储空间，但会大大提高速度。
-
使用任何非结构化/NO sql 数据库，如 mongoDb 或任何用于大数据的数据库
-
欢迎来到 Stack Overflow。如果您可以格式化它，则更容易阅读您的问题，因此它不需要水平和垂直滚动！更容易阅读 -> 更好的答案。
标签： mysql performance select