如何向mysql数据库添加10000行数据

Question

在添加到数据库之前，应该检查数据。三列项目应该是唯一的。所以我创建了一个HashMapper（HashMap Map）来恢复数据库中已经存在的数据。

HashMap<String, Object> eauMap = new HashMap<String, Object>();

所以有一个从数据库中选择的操作，我用三个不同的键来映射同一个对象。

List<Object> existObjectList = Service.getAll();
        HashMap<String, Object> Map = new HashMap<String, Object>();
        for (Object existdata : existEauList) {
            Map.put(existdata.getip1(), existdata);
            Map.put(existdata.getip2(), existdata);
            Map.put(existdata.getip3(), existdata);
        }

然后我做一个循环检查函数Map.get(key1),Map.get(key2),Map.get(key3)添加数据的每一行。如果有null，我把数据放入列表，我也将其放入地图中。

for loop:
  Object data = (Object) Map.get(ip1);//ip1 is from the cell value
    if (data == null) {
        data=(Object)Map.get(ip2);
        if(data==null){
              data=(Object)Map.get(ip3);
           if(data==null){
                 …………………………
                 Map.put(ip1,newdata);
                 Map.put(ip2,newdata);
                 Map.put(ip3,newdata);
                }
            }
     }

然后我将列表提交到数据库。 它在只有 300 行数据时有效。现在我加10000，服务器崩溃。我该怎么做才能提高效率。 需求需要指出哪一行是重复的，项目是springmvc+spring+mybaits搭建的

Answer 1

如果您需要向任何 rdbms 添加数千条记录，您应该使用 rdbms 提供的功能来导入数据。

在 MySQL 中，用于导入大量数据的功能称为load data infile。

在目标表中为需要唯一的字段创建唯一索引或主键。在load data infile 语句中指定ignore 子句，以便在遇到重复条目时导入不会停止：

load data infile 'filename' ignore into table yourtable ...

更新

如果需要识别重复记录，那么

1. 创建一个与目标表结构相同的临时表。
2. 使用load data infile语句将所有数据导入到临时表中。
3. 在临时表和目标表之间使用简单的select 和inner join 将为您提供目标表中已存在的记录。
4. 使用insert ... select ... from temp_table left join target table on ... where target_table.identifier_column is null 命令只将临时表中那些不存在于taget 表中的记录插入到目标表中。在 where 条件下，如果 3 列的组合唯一标识记录，则您可能必须指定多于 1 列。
5. 删除临时表。 （或者只是关闭数据库连接）