为什么批量插入/更新更快？批量更新如何工作？

Question

为什么批量插入更快？是因为插入单行的连接和设置开销对于一组行是相同的吗？还有哪些其他因素使批量插入更快？

批量更新如何工作？假设表没有唯一性约束，插入语句实际上对批处理中的其他插入语句没有任何影响。但是，在批量更新期间，更新可能会改变表的状态，因此可能会影响批量中其他更新查询的结果。

我知道批量插入查询的语法是在一个大查询中拥有所有插入值。批量更新查询是什么样的？例如如果我有表单的单个更新查询：

update <table> set <column>=<expression> where <condition1>
update <table> set <column>=<expression> where <condition2>
update <table> set <column>=<expression> where <condition3>
update <table> set <column>=<expression> where <condition4>

当它们被批量使用时会发生什么。单个查询会是什么样子？

批量插入和更新是 SQL 标准的一部分吗？

Answer 1

其他帖子解释了为什么批量语句更快以及如何使用文字值来实现。

我认为知道如何使用占位符很重要。不使用占位符可能会导致巨大的命令字符串、引用/转义错误，从而导致易于 SQL 注入的应用程序。

在 PostgreSQL >= 9.1 中使用占位符批量插入

将任意数量的行插入到表“mytable”中，由列“col1”、“col2”和“col3”组成，all in one got（一个语句，一个事务）：

INSERT INTO mytable (col1, col2, col3)
 VALUES (unnest(?), unnest(?), unnest(?))

您需要为此语句提供三个参数。第一个必须包含第一列的所有值，依此类推。因此，所有参数都必须是等长的列表/向量/数组。

在 PostgreSQL >= 9.1 中使用占位符进行批量更新

假设您的表名为“mytable”。它由“key”和“value”列组成。

update mytable 
  set value = data_table.new_value
  from 
    (select unnest(?) as key, unnest(?) as new_value) as data_table
  where mytable.key = data_table.key

我知道，这并不容易理解。它看起来像混淆的 SQL。另一方面：它可以工作，可以扩展，无需任何字符串连接即可工作，安全且速度极快。

您需要为此语句提供两个参数。第一个必须是包含“键”列的所有值的列表/向量/数组。当然，第二个必须包含列“value”的所有值。

如果您达到大小限制，您可能需要查看 COPY INTO ... FROM STDIN (PostgreSQL)。

Answer 2

我正在寻找关于“批量/批量”更新的同一主题的答案。人们经常通过将其与具有多个值集（“批量”部分）的插入子句进行比较来描述问题。

INSERT INTO mytable (mykey, mytext, myint)
VALUES 
  (1, 'text1', 11),
  (2, 'text2', 22),
  ...

明确的答案仍然避开我，但我在这里找到了解决方案：http://www.postgresql.org/docs/9.1/static/sql-values.html

说清楚：

UPDATE mytable
SET 
  mytext = myvalues.mytext,
  myint = myvalues.myint
FROM (
  VALUES
    (1, 'textA', 99),
    (2, 'textB', 88),
    ...
) AS myvalues (mykey, mytext, myint)
WHERE mytable.mykey = myvalues.mykey

它具有相同的“大容量”属性，也就是一个语句包含大量数据。

Answer 3

在批量更新中，数据库针对一组数据工作，在逐行更新中，它必须运行与可能多次相同的命令，因为有行。因此，如果您批量插入一百万行，则该命令将被发送和处理一次，而在逐行更新中，该命令将被发送和处理一百万次。这也是您永远不想在 SQL Server 或相关子查询中使用游标的原因。

SQL server 中基于集合的更新示例：

update mytable
set myfield = 'test'
where myfield is null

这将一步更新所有 100 万条为空的记录。游标更新（即以非批处理方式更新一百万行的方式）将遍历每一行并更新它。

批量插入的问题在于批量的大小。如果您尝试一次更新太多记录，数据库可能会在整个过程中锁定表，从而将所有其他用户锁定在外。所以你可能需要做一个循环，一次只占用部分批次（但几乎任何一次大于一行的数字都会比一次快一行）这比更新、插入或删除整个批处理，但比逐行操作更快，并且在用户不尝试查看和更新​​同一个表中的其他记录时，可能需要在具有许多用户且可用停机时间很少的生产环境中。批处理的大小很大程度上取决于数据库结构以及正在发生的情况（带有触发器和大量约束的表和带有大量字段的表一样慢，因此需要较小的批处理）。

Answer 4

为什么批量插入更快？

出于多种原因，但主要的三个是：

• 查询不需要重新解析。
• 值在一次往返中传输到服务器
• 命令位于单个事务中

是因为插入单行的连接和设置开销对于一组行是相同的吗？

部分是的，见上文。

批量更新如何工作？

这取决于RDBMS。

在Oracle 中，您可以将所有值作为集合传输，并将此集合用作JOIN 中的表。

在PostgreSQL 和MySQL 中，可以使用以下语法：

INSERT
INTO    mytable
VALUES 
        (value1),
        (value2),
        …

您还可以准备一次查询并在某种循环中调用它。通常在客户端库中有方法可以做到这一点。

假设表没有唯一性约束，插入语句实际上对批处理中的其他插入语句没有任何影响。但是，在批量更新期间，更新可能会改变表的状态，因此会影响批量中其他更新查询的结果。

是的，您可能会或可能不会从这种行为中受益。

我知道批量插入查询的语法是在一个大查询中拥有所有插入值。批量更新查询是什么样的？

在Oracle 中，您在连接中使用集合：

MERGE
INTO    mytable
USING   TABLE(:mycol)
ON      …
WHEN MATCHED THEN
UPDATE
SET     …

在PostgreSQL:

UPDATE  mytable
SET     s.s_start = 1
FROM    (
        VALUES
        (value1),
        (value2),
        …
        ) q
WHERE   …