如何根据条件从每列中获取唯一值？

Question

我一直在尝试找到一个最佳解决方案来从每一列中选择唯一值。我的问题是我事先不知道列名，因为不同的表有不同的列数。所以首先，我必须找到列名，我可以使用下面的查询来做到这一点：

select column_name from information_schema.columns
where table_name='m0301010000_ds' and column_name like 'c%' 

列名的示例输出：

c1, c2a, c2b, c2c, c2d, c2e, c2f, c2g, c2h, c2i, c2j, c2k, ...

然后我会使用 返回的 列名称来获取 每列 中的 唯一/不同 值，而不仅仅是 不同的行强>。

我知道一种最简单但很糟糕的方法是为每一列（大约 20-50 次）从 table where column_name = 'something' 中编写 select distict column_name ，这也非常耗时。由于每个 column_name 不能使用多个不同的值，因此我坚持使用这种老派的解决方案。

我确信会有一种更快、更优雅的方式来实现这一点，但我只是不知道怎么做。我将非常感谢您对此提供的任何帮助。

Answer 1

您不能只返回行，因为不同的值不再一起出现。

您可以返回数组，这可能比您预期的要简单：

SELECT array_agg(DISTINCT c1)  AS c1_arr
      ,array_agg(DISTINCT c2a) AS c2a_arr
      ,array_agg(DISTINCT c2b) AS c2ba_arr
      , ...
FROM   m0301010000_ds;

这将返回每列不同的值。每列一个数组（可能很大）。列中的值之间的所有连接（过去在同一行中）都会在输出中丢失。

自动构建 SQL

CREATE OR REPLACE FUNCTION f_build_sql_for_dist_vals(_tbl regclass)
  RETURNS text AS
$func$
SELECT 'SELECT ' || string_agg(format('array_agg(DISTINCT %1$I) AS %1$I_arr'
                                     , attname)
                              , E'\n      ,' ORDER  BY attnum)
        || E'\nFROM   ' || _tbl
FROM   pg_attribute
WHERE  attrelid = _tbl            -- valid, visible table name 
AND    attnum >= 1                -- exclude tableoid & friends
AND    NOT attisdropped           -- exclude dropped columns
$func$  LANGUAGE sql;

呼叫：

SELECT f_build_sql_for_dist_vals('public.m0301010000_ds');

返回如上所示的 SQL 字符串。

我使用系统目录pg_attribute 而不是信息架构。以及表名的对象标识符类型regclass。此相关答案中的更多解释：
PLpgSQL function to find columns with only NULL values in a given table

Answer 2

如果您“实时”需要它，您将无法使用需要执行全表扫描以存档它的 SQL 来存档它。

我建议您创建一个单独的表，其中包含每列的不同值（使用来自 @Erwin Brandstetter 的 SQL 初始化；）并使用原始表上的触发器对其进行维护。

您的新表格每个字段将有一列。行数将等于一个字段的不同值的最大数量。

插入时：为每个字段维护检查该值是否已经存在。如果没有，请添加它。

对于更新：对于每个要维护的具有旧值的字段！= 来自新值，检查新值是否已经存在。如果没有，请添加它。关于旧值，检查是否有其他行具有该值，如果没有，则将其从列表中删除（将字段设置为 null）。

对于删除：对于要维护的每个字段，检查是否有任何其他行具有该值，如果没有，则将其从列表中删除（将值设置为 null）。

这样负载主要转移到触发器上，值列表的SQL会超快。

P.S.：确保将所有 SQL 从触发器传递到解释计划，以确保它们尽可能使用最佳索引和执行计划。对于更新/删除，只需检查旧值是否存在（限制 1）。