Oracle加入百万记录表会降低查询性能

Question

我的要求是找到每个客户的空闲时间。要首先找到空闲客户，我必须获取 注册表，它有100万条记录。要找出每个客户的最后交易时间，我必须 加入有 6000 万条记录的事务日志表。下面是我的查询。

SELECT CUSTOMERNAME,MOBILENUMBER,ACCOUNTNUMBER,
   CUSTOMERID,LASTTXNDATE, 
   FLOOR(SYSDATE - to_date(TO_CHAR(LASTTXNDATE, 'DD/MM/YYYY'),'DD/MM/YYYY')) AS "IDLE DAYS" 
FROM REGN_MAST
LEFT JOIN 
 ( SELECT TXNMOBILENUMBER,MAX(TXNDT) AS LASTTXNDATE 
   FROM TXN_DETL 
   GROUP BY TXNMOBILENUMBER
 ) 
ON MOBILENUMBER=TXNMOBILENUMBER;

explain plan for
SELECT CUSTOMERNAME,MOBILENUMBER,ACCOUNTNUMBER,
   CUSTOMERID,LASTTXNDATE, 
   FLOOR(SYSDATE - to_date(TO_CHAR(LASTTXNDATE, 'DD/MM/YYYY'),'DD/MM/YYYY')) AS "IDLE DAYS" 
FROM REGN_MAST
LEFT JOIN 
 ( SELECT TXNMOBILENUMBER,MAX(TXNDT) AS LASTTXNDATE 
   FROM TXN_DETL 
   GROUP BY TXNMOBILENUMBER
 ) 
ON MOBILENUMBER=TXNMOBILENUMBER;


Plan hash value: 403296370

------------------------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                            | Name                      | Rows  | Bytes |TempSpc| Cost (%CPU)| Time     | Pstart| Pstop |
------------------------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                     |                           |  1231K|   102M|       |  1554K  (1)| 05:10:59 |       |       |
|*  1 |  HASH JOIN RIGHT OUTER               |                           |  1231K|   102M|    58M|  1554K  (1)| 05:10:59 |       |       |
|   2 |   VIEW                               |                           |  1565K|    40M|       |  1535K  (1)| 05:07:07 |       |       |
|   3 |    HASH GROUP BY                     |                           |  1565K|    37M|  2792M|  1535K  (1)| 05:07:07 |       |       |
|   4 |     PARTITION RANGE ALL              |                           |    80M|  1926M|       |  1321K  (1)| 04:24:24 |     1 |1048575|
|   5 |      PARTITION HASH ALL              |                           |    80M|  1926M|       |  1321K  (1)| 04:24:24 |     1 |     4 |
|   6 |       TABLE ACCESS FULL              | TXN_DETL                  |    80M|  1926M|       |  1321K  (1)| 04:24:24 |     1 |1048575|
|   7 |   PARTITION RANGE ALL                |                           |  1231K|    70M|       | 12237   (1)| 00:02:27 |     1 |1048575|
|   8 |    PARTITION HASH ALL                |                           |  1231K|    70M|       | 12237   (1)| 00:02:27 |     1 |     4 |
|   9 |     TABLE ACCESS BY LOCAL INDEX ROWID| REGN_MAST                 |  1231K|    70M|       | 12237   (1)| 00:02:27 |     1 |1048575|
|  10 |      BITMAP CONVERSION TO ROWIDS     |                           |       |       |       |            |          |       |       |
|  11 |       BITMAP INDEX FULL SCAN         | IDX_REGN_MAST_7           |       |       |       |            |          |     1 |1048575|
------------------------------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   1 - access("MOBILENUMBER"="TXNMOBILENUMBER"(+))

Note
-----
   - dynamic sampling used for this statement (level=11)

------------------------------------------------------------------------------------------------------------------------------------------------

此查询耗时超过 25 分钟。如何提高此查询的性能。

任何帮助将不胜感激！！！！！！

Answer 1

您的查询使用两个表中的所有数据，因此首选是使用FULL TABLE SCAN 检查执行计划。

记住FULL TABLE SCAN 很慢，但是从带有INDEX 的表中选择所有行要慢得多...

因此，您应该按以下方式制定执行计划：

------------------------------------------------------------------------------------------
| Id  | Operation            | Name      | Rows  | Bytes |TempSpc| Cost (%CPU)| Time     |
------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT     |           |  1000K|    60M|       |   176K  (2)| 00:00:07 |
|*  1 |  HASH JOIN OUTER     |           |  1000K|    60M|    41M|   176K  (2)| 00:00:07 |
|   2 |   TABLE ACCESS FULL  | REGN_MAST |  1000K|    29M|       |  1370   (1)| 00:00:01 |
|   3 |   VIEW               |           |  1014K|    30M|       |   170K  (2)| 00:00:07 |
|   4 |    HASH GROUP BY     |           |  1014K|    16M|  1610M|   170K  (2)| 00:00:07 |
|   5 |     TABLE ACCESS FULL| TXN_DETL  |    60M|   972M|       | 49771   (1)| 00:00:02 |
------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   1 - access("MOBILENUMBER"="TXNMOBILENUMBER"(+))

根据您的硬件和内存配置，时间会有所不同，但在最近的硬件上，我预计时间会低于 10 分钟。

你可以进一步限制它使用

a) 并行查询

b) 保留保存最后交易日期的物化视图

这是我的测试，生成的数据需要 5 分钟以上（见下文）。 所以我的建议要么删除所有索引，要么提示 FULL 并重试。

SQL> set timi on
SQL> set autotrace traceonly
SQL> SELECT CUSTOMERNAME,MOBILENUMBER,ACCOUNTNUMBER,
  2     CUSTOMERID,LASTTXNDATE,
  3     FLOOR(SYSDATE - to_date(TO_CHAR(LASTTXNDATE, 'DD/MM/YYYY'),'DD/MM/YYYY')
) AS "IDLE DAYS"
  4  FROM REGN_MAST
  5  LEFT JOIN
  6   ( SELECT TXNMOBILENUMBER,MAX(TXNDT) AS LASTTXNDATE
  7     FROM TXN_DETL
  8     GROUP BY TXNMOBILENUMBER
  9   )
 10  ON MOBILENUMBER=TXNMOBILENUMBER;

1000000 rows selected.

Elapsed: 00:05:42.23

样本数据

create table REGN_MAST
as 
select 
'Name'||rownum CUSTOMERNAME,'00'||rownum MOBILENUMBER, 99*rownum ACCOUNTNUMBER, rownum CUSTOMERID 
from dual connect by level <= 1000000;

create table TXN_DETL
as 
with cust as (
select 
'00'||rownum TXNMOBILENUMBER 
from dual connect by level <= 1000000),
trans as (
select  DATE'2018-01-01' + rownum  TXNDT
from dual connect by level <= 60)
select TXNMOBILENUMBER, TXNDT
from cust CROSS join trans;  

Answer 2

我会尝试将查询重写为：

SELECT m.CUSTOMERNAME, m.MOBILENUMBER, m.ACCOUNTNUMBER,
       m.CUSTOMERID, t.TXNDT, 
       FLOOR(SYSDATE - TRUNC(TXNDT)) AS IDLE_DAYS 
FROM REGN_MAST m JOIN 
     TXN_DETL t
     ON m.MOBILENUMBER = t.TXNMOBILENUMBER
WHERE t.TXNDT = (SELECT MAX(t2.TXNDT) FROM TXN_DETL t2 WHERE m.MOBILENUMBER = t2.TXNMOBILENUMBER);

然后，确保您在TXN_DETL(TXNMOBILENUMBER, TXNDT) 上有一个索引以提高性能。

假设所有客户都有交易，我将LEFT JOIN 更改为INNER JOIN。

这也简化了日期运算。这与性能的关系不如可读性。

Answer 3

在TXN_DETL(TXNMOBILENUMBER,TXNDT) 上创建覆盖索引。

根据执行计划，86% 的成本用于 TXN_DETL 上的全表扫描。如果所有相关列上都有索引，Oracle 可以将该索引用作瘦表。 INDEX FAST FULL SCAN 操作的运行速度可能比 TABLE ACCESS FULL 快得多。