PostgreSQL 洗牌列值

Question

在超过 100k 行的表中，如何有效地打乱特定列的值？

表定义：

CREATE TABLE person
(
  id integer NOT NULL,
  first_name character varying,
  last_name character varying,
 CONSTRAINT person_pkey PRIMARY KEY (id)
)

为了匿名数据，我必须就地对“first_name”列的值进行洗牌（我不允许创建新表）。

我的尝试：

with
first_names as (
select row_number() over (order by random()),
       first_name as new_first_name
from person
),
ids as (
select row_number() over (order by random()), 
       id as ref_id
from person
)
update person
set first_name = new_first_name
from first_names, ids
where id = ref_id;

需要几个小时才能完成。

有没有有效的方法？

Answer 1

postgres 的问题是每次更新均值 delete + insert

• 您可以使用 SELECT 而不是 UPDATE 来检查分析，看看 CTE 的性能如何
• 您可以关闭索引以加快更新速度
• 但是当需要更新所有行时，我使用的最佳解决方案是再次创建表

.

CREATE TABLE new_table AS 
     SELECT * ....


DROP oldtable;

Rename new_table to old_table

CREATE index and constrains

对不起，这不是你的选择:(

编辑：读完a_horse_with_no_name

看起来你需要

with
first_names as (
    select row_number() over (order by random()) rn,
           first_name as new_first_name
    from person
),
ids as (
    select row_number() over (order by random()) rn, 
           id as ref_id
    from person
)
update person
set first_name = new_first_name
from first_names
join ids
  on first_names.rn = ids.rn
where id = ref_id;

如果您提供ANALYZE / EXPLAIN 结果，性能问题会更好。

Answer 2

这需要 5 秒才能在我的笔记本电脑上随机播放 500.000 行：

with names as (
  select id, first_name, last_name,
         lead(first_name) over w as first_1,
         lag(first_name) over w as first_2
  from person
  window w as (order by random())
)
update person
  set first_name = coalesce(first_1, first_2)
from names 
where person.id = names.id;

这个想法是在随机排序数据后选择“下一个”名称。这与选择一个随机名称一样好。

有可能不是所有的名字都被洗牌，但如果你运行它两到三遍，这应该就足够了。

这是 SQLFiddle 上的测试设置：http://sqlfiddle.com/#!15/15713/1

右侧的查询检查“随机化”后是否有任何名字保持不变