MySQL Pentaho 通信链接错误 ETL答案

【问题标题】：MySQL Pentaho communication link error ETLMySQL Pentaho 通信链接错误 ETL
【发布时间】：2019-06-06 02:44:22
【问题描述】：

当试图在当月的最后一天或当月的倒数第二天从 DW 加载一个月数据时，在加载数据时，通信链接错误来了，它停止了正在运行的作业。由于最后几组数据未加载。

关于使用的转换步骤：

表格输入-> DB JOIN -> 流查找-> 表格输出

请帮忙。我们被这个困住了..

2019/01/11 05:42:18 - Table input.0 - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Unexpected error closing query : org.pentaho.di.core.exception.KettleDatabaseException: 
2019/01/11 05:42:18 - Table input.0 - Couldn't close query: resultset or prepared statements
2019/01/11 05:42:18 - Table input.0 - **Communications link failure**
2019/01/11 05:42:18 - Table input.0 - 
2019/01/11 05:42:18 - Table input.0 - **The last packet successfully received from the server was 109 milliseconds ago.  The last packet sent successfully to the server was 22 milliseconds ago.**

【问题讨论】：

只是一个非常疯狂的猜测，但在特定日期发生的故障有时是由计划在那些日子运行的批处理作业引起的。像备份作业、长时间运行的数据库转储、一些清理例程或类似的东西。我会先检查数据库服务器是否在那个时候大致重新启动。
您使用的是哪个 pentaho 版本？以及你使用的是哪个mysql jdbc连接jar文件版本？
@WorkingHard.. 我们使用 pentaho 7.1 和 mysql-connector-java-5.1.46.jar 进行 mysql jdbc 连接

标签： mysql etl pentaho pentaho-spoon pentaho-data-integration

【解决方案1】：

造成这个问题的原因有很多。如果我是你，我会检查以下几点。

MySQL 的问题 - 您应该在进程执行期间检查 mysql 日志中是否有任何错误 (https://dev.mysql.com/doc/refman/5.6/en/error-log.html)
可能是内存问题。尝试增加 Spoon 的 Java 堆大小。 https://communities.bmc.com/docs/DOC-100146 上描述了类似的问题
尝试优化 MySQL 或 JDBC 参数。例如，您可以在 MySQL 服务器上增加 net-write-timeout 和 net-read-timeout，或者在 JDBC 驱动程序上增加 rewriteBatchedStatements=true 和 useCompression=true。

【讨论】：

【解决方案2】：

这种问题也会由于长时间运行的查询而出现，这是由于net_write_timeout 默认设置为60 seconds 而发生的。此参数位于my.ini 中，您可以在其中将net_write_timeout 的默认值更改为更大的值，以帮助您从该问题中恢复。

【讨论】：