解析 CSV 文件并将值存储在变量中答案

【问题标题】：Parse CSV file and store values in variable解析 CSV 文件并将值存储在变量中
【发布时间】：2015-10-13 06:45:56
【问题描述】：

我对 Java 编程相当陌生。我有这个要求从 CSV 文件中读取行（大约 25 列）并使用 JAVA 将其加载到 MySQL 数据库中。

数据必须一次插入 1 行，因为每行数据都必须插入或更新多个表。
我需要一些机制来映射标题（CSV 中的第一行及其对应的值），以便将来如果我要在 CSV 文件中添加另一列，它不会影响我的程序。
它们可能是我的 CSV 文件中的字段，其中包含“，”逗号作为字段值的一部分。
使用的分隔符也是“，”逗号。

关于我应该从哪里开始以及要遵循的步骤的任何建议。在插入每一行之前，我需要从数据库中执行多选语句，因为相关表中可能已经填充了少量数据，我需要查询出项目 ID 以插入主记录表。

假设我有四个项目的 CSV，

ProductID , Name  , Store Name , Country
   101    , Pencil, Evergreen , Finland

所以我需要将这些值插入到具有以下架构的产品表中。

**Product_Table:**
+------------------+----------------------+------+-----+---------+-------+
| Field            | Type                 | Null | Key | Default | Extra |
+------------------+----------------------+------+-----+---------+-------+
| Product_ID       | varchar(16)          | NO   | PRI | NULL    |       |
| Name             | varchar(64)          | NO   | MUL | NULL    |       |
| Store_ID         | int(10) unsigned     | NO   |     | NULL    |       |
| Country_ID       | smallint(5) unsigned | NO   |     | NULL    |       |


**Store_Table**
+------------------+----------------------+------+-----+---------+-------+
| Field            | Type                 | Null | Key | Default | Extra |
+------------------+----------------------+------+-----+---------+-------+
| Store_ID         | varchar(16)          | NO   | PRI | NULL    |  AI   |
| Name             | varchar(64)          | NO   | MUL | NULL    |       |


**Country_Table**
+------------------+----------------------+------+-----+---------+-------+
| Field            | Type                 | Null | Key | Default | Extra |
+------------------+----------------------+------+-----+---------+-------+
| Country_ID       | varchar(16)          | NO   | PRI | NULL    |  AI   |
| Country_Name     | varchar(64)          | NO   | MUL | NULL    |       |

如您所见，我需要从 CSV 中传入 Store Name 和 Country Name 字段值以获取对应 ID（如果存在），如果在将数据插入 Product_Table:

之前，他们不会先插入这些记录以获得相应的 ID

第一次加载的 CSV 最多只有 1000 条记录，接下来的加载每天最多只能有 50 条记录。所以时间不是问题。逻辑和

我正在考虑一些逻辑来将 CSV 中的每个值存储在某个变量中，例如

ProductID  = ProductID value from CSV 
ProductName = Name value from CSV

因此，如果将来 CSV 中的值顺序发生变化，即使这样我也可以使用这些变量来插入和查询我的 MYSQL 表架构。

【问题讨论】：

也许可以用dev.mysql.com/doc/refman/5.1/en/load-data.html代替java解析？您可以使用子查询来计算 country_id。使用 derict load 您将减少 DB 交互量（选择 countri_ud 和 store_id 之后，并且仅在插入数据之后）并且代码将运行得更快。
这听起来是个不错的选择，但我想我会先尝试传统方法，因为我只是先学习基本步骤，然后才能在以后实施更有效的方法。感谢您的输入
如果逗号是有效值的一部分，您应该使用不同的分隔符

标签： java mysql parsing csv opencsv

【解决方案1】：

使用uniVocity-parsers 附带的 CSV 解析器为您可靠地处理此问题：

CsvParserSettings settings = new CsvParserSettings(); // many options here, check the tutorial.

CsvParser parser = new CsvParser(settings);
List<String[]> allRows = parser.parseAll(new FileReader(new File("path/to/file.csv")));

在 JDBC 方面，假设您使用的是 PreparedStatement，只需遍历 allRows 并使用 statement.setObject(index + 1, row[index]) 插入数据（假设索引从 0 开始）。对于大多数数据库 - MySQL 就是其中之一 - 您不需要将字符串转换为数据库预期的类型。

披露：我是这个库的作者。它是开源免费的（Apache V2.0 许可）。

【讨论】：