sql日志文件增长太大

Question

我有一个包含 1000 万条记录且没有索引的表，我正在尝试对表进行重复数据删除。我尝试使用 select where 使用左连接或 where 不存在的插入；但每次我收到违反密钥的错误。另一个问题是日志文件变得太大，事务将无法完成。我尝试按照在线建议将恢复设置为简单，但这无济于事。以下是我使用的查询；

insert into temp(profile,feed,photo,dateadded)
select distinct profile,feed,photo,dateadded from original as s
  where not exists(select 1 from temp as t where t.profile=s.profile)

这只会产生违反密钥错误。我尝试使用以下内容：

insert into temp(profile,feed,photo,dateadded)
select distinct profile,feed,photo,dateadded from original as s 
left outer join temp t on t.profile=s.profile where t.profile is null

在这两种情况下，现在日志文件在事务完成之前就已填满。所以我的主要问题是关于日志文件，我可以通过查询找出重复数据删除。

Answer 1

您可能需要分批工作。编写一个循环来遍历 5000 个（您可以尝试使用这个数字，根据数据库和它的繁忙程度，我不得不下降到 500 或最多 50,000 个）记录左右。

你的钥匙是什么？您的查询可能需要对添加的数据使用聚合函数进行选择（使用 min 或 max 函数）。

Answer 2

事务越大，事务日志就越大。

日志用于打开事务的未提交恢复，因此如果您不经常提交并且执行非常大的事务，它将导致日志文件大幅增长。一旦提交，文件将成为可用空间。这是为了保护数据，以防万一发生故障并需要回滚。

我的建议是分批运行插入，在每批之后提交