JMeter 将所有记录从 CSV 插入 sql 数据库

Question

我有大量来自主数据库的数据，我正在通过应用一些逻辑来清理数据来读取和写入 CSV。这是一个超过 100K 的大型数据集。 我正在使用 beanshell 写入 CSV，速度非常快。

现在的最终目标是将该数据写入下一个 mySQL DB。

理想情况下，我不希望涉及 CSV 并直接写入 mySQL DB，但这可能会有一个问题，那就是我需要添加 JDBC 步骤来调用它以获得 10 万条记录。

所以我想仍然写入 CSV，然后我想从那里将​​记录拆分为 1000 或 2000 组，以减少 SQL 查询的负载。

注意：我无法删除 beanshell 部分，因为我正在解析 JSON 响应，然后写入 CSV，因此必须对其进行处理。

任何建议的解决方案都将受到高度赞赏。

Answer 1

如果您需要将整个 CSV 插入 MySQL 数据库，最快最简单的方法是使用 LOAD DATA 语句，例如：

LOAD DATA INFILE '/path/to/your/file.csv' INTO TABLE YOUR_TABLE_NAME_HERE FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\\r\\n'

---

我还建议重新考虑您的“beanshell”方法，since JMeter 3.1 it's recommended to use JSR223 Test Elements and Groovy language 用于脚本，Groovy performs much better 并具有built-in JSON support（以及SQL support）。