多表插入的多线程

Question

我正在开发基于 Spring+Hibernate 的 Web 应用程序。 在这个应用程序中，我必须对数据库中可用的 50000 条记录进行计算。 当前逻辑：-

1. 循环 0 到 50000（所有 50000 条记录相互独立）
2. 选择第 i 个元素
3. 对第 i 个元素进行计算（如果存在则删除 CALCULATION_TEMP 表，创建新表 CALCULATION_TEMP 并在 CALCULATION_TEMP 表中插入计算）
4. 对第 3 步表做一些计算并得到结果
5. 将第 4 步的结果放入 Results 表中

目前，单线程完成所有这些计算大约需要 38 小时。

现在我们想通过多线程运行这个系统。 出于测试目的，我记录了 50 条记录。

使用单线程大约需要 30 秒。

使用两个线程：-

• 一半记录由第一个线程执行，其余记录由第二个线程执行。
• 现在我为两个线程使用了两个 TEMP 表。 （TEMP1 和 TEMP2）
• 需要 225 秒。

粗略代码：-

for (int i = 0; i < recordsSize; i++) {
    final int j = i;
    String recordId = list.get(i);

    // Method call : Code for creating CALCULATION_TEMP table
    // CALCULATION_TEMP table will contain dynamic number of column. It is depends on the record data (50 to 70 columns)
    // return flag value
    boolean flag = xyzMethod(....);

    if (flag) {

        // All calculation done in this method 
        // Around 600 - 700 rows will be created into CALCULATION_TEMP table on the basis of calculation logic
        Object fileMapColumnData[] = /* Method call */;

        // Insert result for one record into RESULT table for unique recordId (this result is calculated in CALCULATION_TEMP table)  
        insertIntoResultTable(....);

        // Drop CALCULATION_TEMP table
    } else {
        LOGGER.error("Unable to calculate ... because of some wrong data");
        loggerDTO.getCustomLogger().severe("Unable to calculate ... because of some wrong data");
    }
    if (i % 100 == 0) {
        calculationDao.flushAndClear();
    }

    // Thread for showing process completion status in percentage
    Thread t = new Thread() {
        @Override
        public void run() {
            getPercentageDone((float) recordsSize, (float) (j + 1));
        }
    };
    t.start();
} 

请提出建议，如何提高性能。

Answer 1

创建/删除临时表需要 50000 次的大量时间。你可以在没有临时表的情况下进行计算吗？它可以提高性能。

Answer 2

性能改进没有硬性规定。如果您有约束和业务决策，我们需要知道计算以及如何管理线程、管理连接以及涉及的循环数量等。有很多事情需要考虑。首先检查痛点区域，花费时间并首先改进每种方法。