使用 JAVA 从 CSV 更新 MySQL

Question

我的问题如下：

1. CSV 文件以给定的时间间隔从服务器下载。

2. 必须解析文件（必须去除不必要的空格）。

3. 必须为每个条码更新商品价格、建议零售价和库存数量。

每个 CSV 行包含商品编号、产品名称、仓库 ID、仓库名称、价格、rrp 价格、库存和条形码。 items 表包含大约 71000 行。并且条形码不是数据库中的唯一键（因为具有相同条形码的物品可以在不同的仓库中）。问题是在 localhost MySQL 服务器上更新需要一个多小时（SQLite 大约半小时）。有什么方法可以优化 SQL 查询以使事情变得更快？我当前的代码如下所示：

    public void updateData (BufferedReader bufferedReader, Connection sqlConnection){
    String csvLine = null;
    PreparedStatement preparedStatement = null;
    String sqlString = "UPDATE items SET price = ?, rrp = ?, stock = ? WHERE departmentid = ? AND barcode = ?";
    try {
        preparedStatement = sqlConnection.prepareStatement(sqlString);
        while ((csvLine = bufferedReader.readLine()) != null) {
            String[] splitLine = csvLine.split(";");
            preparedStatement.setBigDecimal(1, new BigDecimal(splitLine[4].trim()).setScale(2, RoundingMode.CEILING));
            preparedStatement.setBigDecimal(2, new BigDecimal(splitLine[5].trim()).setScale(2, RoundingMode.CEILING));
            preparedStatement.setInt(3, Integer.parseInt(splitLine[6].trim()));
            preparedStatement.setString(4, splitLine[2].trim());
            preparedStatement.setString(5, splitLine[8].trim());
            preparedStatement.executeUpdate();
        }
    } catch (IOException | SQLException exc) {
        System.out.println(exc.getMessage());
    } finally {
        try {
            sqlConnection.commit();
            preparedStatement.close();
            sqlConnection.close();
        } catch (SQLException exc) {
            exc.printStackTrace();
        }
    }
}

到目前为止，最快的解决方案看起来像 @e4c5 建议的那样，将 CSV 数据加载到临时表并使用查询： UPDATE items INNER JOIN temp_table ON items.barcode = temp_table.barcode SET items.rrp = temp_table.rrp, items.price = temp_table.price, items.stock = temp_table.stock WHERE items.barcode = temp_table.barcode AND items.departmentid = temp_table.departmentid. 有什么方法可以让这更快？

Answer 1

有一种更快更好的方式来导入数据，而无需一行 Java 代码。那是LOAD DATA INFILE

请注意，LOAD DATA 可以为您的 CSV 进行一些预处理。然而，在某些情况下它是不够的。然后你必须从 java 获得帮助，但 java 不应该做插入。

您的 java 代码应该预处理 CSV 并生成另一个可以传递给 LOAD DATA 的 CSV。 70000 条记录是轻而易举的事。

LOAD DATA 不支持ON DUPLICATE KEY UPDATE 语法。但它确实有 REPLACE 语法（它比重复键更新稍慢，但它仍然比 java 或任何其他编程语言可以给你的速度至少快一个数量级）。

如果进行实际更新很重要。将数据加载到临时表中，然后到

INSERT INTO mytable SELECT * FROM temp_table ON DUPLICATE KEY ....

Answer 2

我认为在您的情况下最好的方法是使用语句批处理，这是一个示例：

sqlConnection.setAutoCommit(false);//<<------------
try {
    preparedStatement = sqlConnection.prepareStatement(sqlString);
    while ((csvLine = bufferedReader.readLine()) != null) {
        String[] splitLine = csvLine.split(";");
        preparedStatement.setBigDecimal(1, new BigDecimal(splitLine[4].trim()).setScale(2, RoundingMode.CEILING));
        preparedStatement.setBigDecimal(2, new BigDecimal(splitLine[5].trim()).setScale(2, RoundingMode.CEILING));
        preparedStatement.setInt(3, Integer.parseInt(splitLine[6].trim()));
        preparedStatement.setString(4, splitLine[2].trim());
        preparedStatement.setString(5, splitLine[8].trim());

        preparedStatement.addBatch();//<<-----------add a batch
    }

    //execute your multiple statement as one
    statement.executeBatch();//<<------------
    sqlConnection.commit();//<<--------------
}

---

编辑

喜欢@Mick Mnemonic 在评论中提到：

如果拆分成较小的批次，例如 500 行，您可以尝试 有什么区别

因此，如果要一次性执行批次，您可以将批次分成小批量，例如：

sqlConnection.setAutoCommit(false);
try {
    int nbrBatch = 500;
    int count = 0;
    preparedStatement = sqlConnection.prepareStatement(sqlString);
    while ((csvLine = bufferedReader.readLine()) != null) {
        //Your code here
        preparedStatement.addBatch();
        if (count % nbrBatch == 0) {
            statement.executeBatch();
        }
        count++;
    }
    //rest of your batch not executed
    statement.executeBatch();
    sqlConnection.commit();
}