【问题标题】:Ways to optimize memory usage for query with aggregate functions on very large tables in Oracle使用 Oracle 中非常大的表上的聚合函数优化查询内存使用的方法
【发布时间】:2016-04-21 13:02:37
【问题描述】:

我有一个包含大量数据的表(比如 1,000,000,000 行)。

表结构:

Id(Primary Key)
Name
...

我已经从表中省略了其他字段,因为我无法使用其中任何一个来限制我获取的数据。

这里的主键是Id。我没有任何索引,只有名称列。

我需要找到出现次数超过 n 次的名称列表(比如 n=10)。

我尝试了以下选项:

SELECT /+full(T)/ Name,COUNT(Id) AS CNT FROM T GROUP BY Name HAVING COUNT(ID) >10;

select distinct Name, COUNT(ID) OVER (PARTITION BY Name) AS CNT FROM T where CNT>10;

它们都占用了很大的临时空间。

任何其他优化查询以使用更少临时空间的建议。 速度不是我最关心的问题。即使查询需要大约 2 小时也没关系。

【问题讨论】:

    标签: oracle11g count group-by full-table-scan


    【解决方案1】:

    名称为 ( 选择名称,COUNT(ID) OVER (PARTITION BY Name) AS CNT FROM T) 从 names.CNT > 10 的名称中选择 DISTINCT 名称

    【讨论】:

    • 这类似于我发布的第二个查询。它不会减少所需的临时空间量。
    • WHERE 子句在分析函数之前执行。所以问题中的第二个查询将不起作用。因此,我将其添加到 WITH 子句中。如果这也较慢,您可以试试这个吗? WITH names AS (select Name, COUNT(ID) OVER (PARTITION BY Name) AS CNT FROM T ORDER BY 2 DESC) 从 names.CNT > 10 的名称中选择名称
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2018-03-07
    • 2019-09-21
    • 2018-01-20
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-10-05
    相关资源
    最近更新 更多