【问题标题】:How to delete multiple tables in parallel如何并行删除多个表
【发布时间】:2021-01-15 05:23:07
【问题描述】:

我正在对 20 个左右的多个表执行批量删除。但现在它们是按顺序排列的(一个接一个)。所以他们需要时间。我可以使用 python 或 Mysql 并行进行批量删除吗?它们都是独立的表。请有任何建议。我在 AWS EMR 中运行我的代码

delete from table1;
delete from table2;
delete from table3;

【问题讨论】:

  • 我看到你删除了所有行。使用 TRUNCATE 而不是 DELETE。
  • @Akina 是的,这是我们计划的选项之一。
  • @cbracketdash 我们仅从 python 运行我们的代码。这就是我如何并行删除多个语句。
  • 如果您的连接器允许多查询,则将所有查询放入一个多查询并执行。

标签: python mysql sql amazon-emr


【解决方案1】:

我找不到并行删除表的解决方案,但我相信可以使用 MAXDOP 查询选项参数使用并行性删除表。

-- DOPMAX stands for Degrees of Parallelism Maximum
delete from table1 option (DOPMAX 4);
delete from table2 option (DOPMAX 8);
delete from table3 option (DOPMAX 0); -- 0 means use all cpu's available

您可以通过微软的guide 了解更多信息。

【讨论】:

  • 谢谢@Max Collier 我会调查的。 ,但我认为我的要求是更多基于 I/O 限制而不是 CPU 限制。
  • 问题是MySQL-tagged,无法应用SQL Server的解决方案。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2023-03-28
  • 2019-07-11
  • 2016-11-27
相关资源
最近更新 更多