顺序与并行解决方案

Question

我会尽量简化我的问题。

假设我们在 Oracle 11g 中有 3 个表。

Persons (person_id, name, surname, status, etc )
Actions (action_id, person_id, action_value, action_date, calculated_flag) 
Calculations (calculation_id, person_id,computed_value,computed_date)

我想要的是每个人符合特定标准（比如说status=3） 我应该从Actions 表中获得action_values 的sum，其中calculated_flag=0。 （类似select sum(action_value) from Actions where calculated_flag=0 and person_id=current_id）。

然后我将在某种公式中使用 sum 并为特定的 person_id 更新 Calculations 表。

update Calculations set computed_value=newvalue, computed_date=sysdate
where  person_id=current_id

之后，参与行的calculated_flag 将设置为1。

update Actions set calculated_flag=1
where  calculated_flag=0 and person_id=current_id

现在这可以很容易地按顺序完成，方法是创建一个游标，该游标将遍历 Persons 表，然后执行特定人员所需的每个操作。

（我不提供顺序解决方案的代码，因为上面只是一个类似于我的实际设置的示例。）

问题是我们正在谈论大量的数据，而顺序方法似乎浪费了计算时间。

在我看来，这个任务可以针对多个 person_id 并行执行。

所以问题是：

这种任务可以在 PL/SQL 中使用并行化来执行吗？

解决方案会是什么样子？也就是说，应该使用哪些特殊的包（例如DBMS_PARALLEL_EXECUTE）、关键字（例如bulk collect）、方法以及以什么方式使用？

另外，我应该担心并行更新的部分失败吗？

请注意，我不太熟悉使用 PL/SQL 进行并行编程。 谢谢。

编辑 1. 这是我的顺序解决方案的伪代码

procedure sequential_solution is
    cursor persons_of_interest is
        select person_id from persons
        where  status = 3;

    tempvalue number;
    newvalue  number;
begin

    for person in persons_of_interest
    loop
        begin
            savepoint personsp;

            --step 1
            select sum(action_value) into tempvalue
            from   actions
            where  calculated_flag = 0
            and    person_id = person.person_id;

            newvalue := dosomemorecalculations(tempvalue);

            --step 2
            update calculations set computed_value = newvalue, computed_date  = sysdate
            where  person_id = person.person_id;

            --step 3
            update actions set calculated_flag = 1;
            where  calculated_flag = 0 and person_id = person.person_id;

            --step 4 (didn't mention this step before - sorry)
            insert into actions
                ( person_id, action_value, action_date, calculated_flag )
            values
                ( person.person_id, 100, sysdate, 0 );
        exception
            when others then
                rollback to personsp;
                -- this call is defined with pragma AUTONOMOUS_TRANSACTION:
                log_failure(person_id);
        end;

    end loop;

end;

现在，我将如何使用forall 和bulk colletct 或并行编程来加快上述速度在以下约束下：

1. 适当的内存管理（考虑到大量数据）
2. 对于一个人，如果步骤序列的一部分失败 - 所有步骤都应该回滚并记录失败。

Answer 1

我可以提出以下建议。假设您在 persons 表中有 1 000 000 行，并且您希望每次迭代处理 10 000 人。所以你可以这样做：

declare
  id_from persons.person_id%type;
  id_to persons.person_id%type;
  calc_date date := sysdate;
begin
    for i in 1 .. 100 loop
      id_from := (i - 1) * 10000;
      id_to := i * 10000;

      -- Updating Calculations table, errors are logged into err$_calculations table
      merge into Calculations c
      using (select p.person_id, sum(action_value) newvalue
               from Actions a join persons p on p.person_id = a.person_id
              where a.calculated_flag = 0 
                and p.status = 3
                and p.person_id between id_from and id_to
              group by p.person_id) s
         on (s.person_id = c.person_id)
      when matched then update
       set c.computed_value = s.newvalue, 
           c.computed_date = calc_date
       log errors into err$_calculations reject limit unlimited;

      -- updating actions table only for those person_id which had no errors:
      merge into actions a
      using (select distinct p.person_id
               from persons p join Calculations c on p.person_id = c.person_id
              where c.computed_date = calc_date
                and p.person_id between id_from and id_to)
         on (c.person_id = p.person_id)
       when matched then update
       set a.calculated_flag = 1;

      -- inserting list of persons for who calculations were successful
      insert into actions (person_id, action_value, action_date, calculated_flag)
       select distinct p.person_id, 100, calc_date, 0
         from persons p join Calculations c on p.person_id = c.person_id
        where c.computed_date = calc_date
          and p.person_id between id_from and id_to;

      commit;
    end loop;
end;

它是如何工作的：

• 您将persons 表中的数据拆分为大约 10000 行的块（取决于 ID 数量的差距，i * 10000 的最大值应该大于person_id 的最大值）
• 您在MERGE 语句中进行计算并更新Calculations 表

• LOG ERRORS 子句防止异常。如果发生错误，出现错误的行将不会被更新，但会被插入到表中进行错误记录。执行不会中断。要创建此表，请执行：

  begin
    DBMS_ERRLOG.CREATE_ERROR_LOG('CALCULATIONS');
  end;
  

  将创建表err$_calculations。有关DBMS_ERRLOG 包的更多信息，请参阅documentation。

• 第二条MERGE 语句仅对未发生错误的行设置calculated_flag = 1。 INSERT 语句将这些行插入到actions 表中。只需使用 Calculations 表中的 select 即可找到这些行。
• 另外，我添加了变量id_from 和id_to 来计算要更新的ID 范围，并添加了变量calc_date 以确保在第一个MERGE 语句中更新的所有行都可以在以后按日期找到。李>