MySQL：优化查询以计算金融 BETA

Question

在金融领域，股票的贝塔系数是股票每日收益与指数每日收益之间的协方差除以指数每日收益的方差。我尝试计算一组股票和一组指数的 beta。

这是我对 50 个工作日滚动窗口的查询，希望您帮助我优化它以提高速度：

INSERT INTO betas (permno, index_id, DATE, beta) 
(SELECT 
  permno, index_id, s.date, IF(
    s.`seq` >= 50, 
    (SELECT 
 (AVG(s2.log_return*i2.log_return)-AVG(s2.log_return)*AVG(i2.log_return))/VAR_POP(i2.log_return) AS beta
    FROM
      stock_series s2
      INNER JOIN `index_series` i2 ON i2.date=s2.date 
      WHERE i2.index_id=i.index_id AND s2.permno = s.permno 
      AND s2.`seq` BETWEEN s.`seq` - 49 AND s.`seq` 
      GROUP BY index_id,permno), NULL)
   AS beta 
FROM
  stock_series s
  INNER JOIN `index_series` i ON i.index_id IN ('SP500') AND i.date=s.date
 ) 
ON DUPLICATE KEY 
UPDATE beta=  VALUES (beta)

两个主表都已按实体和日期按升序排序，并且它们已包含日志每日收益以及“seq”列。 Seq 依次枚举公司（或索引）的所有每日行，即 seq 对表中的每个新股票或索引从 1 开始，并计数到给定实体的总行数。我创建它是为了允许滚动窗口。

截至目前，有 500 个公司和 1 个索引，查询需要很长时间才能完成。 让我知道您想到的任何优化，例如视图、存储过程、临时表，当然，如果您发现任何不一致之处。

编辑：索引： stock_series 有 PRIMARY KEY (permno,date) 和 UNIQUE KEY (permno,seq)， index_series 有 PRIMARY KEY (index_id,date)

解释 ONE 公司的扩展结果（通过在末尾包含 WHERE s.permno=... 限制）：

解释所有约 500 家公司的扩展结果：

Answer 1

这是专业人士所做的：不要在数据库中计算。提取数据，计算，重新插入。我现在工作的地方，他们有一个巨大的网格在一天结束时做这些事情。是的，gris - 就像在大量机器中一样。我们谈论生成千兆字节的 csv 文件，然后将其重新加载到数据库中。包含 120.000 种不同元素的交易的 Beta、Gamma、PnL。数据库没有为此优化。