如何在 Java Maven 中生成 mysqldump 脚本？

Question

我正在 Google Cloud Dataflow 中处理信息，我们尝试使用 JPA 将数据插入或更新到我们的 mysql 数据库中，但是这些查询在我们的服务器上大喊大叫。所以我们决定改变我们的道路......

我想生成一个 mysql 或 .sql 文件，以便我们可以编写通过数据流处理的新信息。我想知道是否有实现的方法，还是我必须自己做？

让我再解释一下，我们有一个来自 XML 的输入，我们将信息处理到 java 类中，我们有一个数据库的 json 转储，所以我们可以在线查看我们拥有的内容，而无需进行太多调用，考虑到这一点，我们将新信息与我们已有的信息进行比较，并决定它是新信息还是只是更新。

如何通过 Java/Maven 做到这一点？我需要代码来生成这个文件...

Answer 1

是的，Cloud Dataflow 在多台机器上并行处理数据。因此，其他服务可能无法跟上或达到某些配额也就不足为奇了。

根据您的具体用例，您可以在不改变方法的情况下减慢/限制数据流。可能会限制工作人员的数量、限制并行度、使用IntraBundleParallelization API 等。总体而言，这可能是一条更好的路径。我们还在研究更明确的方法来限制数据流。

现在，任何系统都无法为您的数据库自动生成.sql 文件。但是，使用 ParDo 和 TextIO.Write 等原语通过 Dataflow 管道生成这样的文件应该非常简单。