如何将数据从 PostgreSQL 加载到 Deep Learning 4J？答案

【问题标题】：How can I load data from PostgreSQL into Deep Learning 4J?如何将数据从 PostgreSQL 加载到 Deep Learning 4J？
【发布时间】：2020-04-01 16:54:48
【问题描述】：

您能否帮助了解如何将数据从 PostgreSQL 加载到 Deep Learning 4J 中，好吗？如果有人有例子，我将不胜感激。

提前致谢

【问题讨论】：

标签： postgresql deeplearning4j dl4j

【解决方案1】：

如果您想在矢量化之前从 Postgres 加载数据，可以使用JdbcRecordReader。它位于 datavec-jdbc maven 包中。

有关如何使用它的示例，请查看它的单元测试：https://github.com/eclipse/deeplearning4j/blob/master/datavec/datavec-jdbc/src/test/java/org/datavec/api/records/reader/impl/JDBCRecordReaderTest.java

这将使您能够以记录形式访问您的数据。如果您的所有数据都已经是数字：太好了。如果没有，您将不得不对其进行矢量化。对于 Stack Overflow 来说，解释如何做到这一点可能太长了。查看https://www.dubs.tech/guides/quickstart-with-dl4j/，我在其中解释了如何处理来自 CSV 文件的记录。

如果您对此感到困惑，也可以随时在 community.konduit.ai 上提问，在那里您可以比在 StackOverflow 上更好地提出后续问题。

【讨论】：

【解决方案2】：

dl4j，因为任何其他框架都适用于张量 - INDArray 在 dl4j 的情况下。因此，为了“加载数据”，您实际上必须将其转换为张量。这适用于任何数据源 - 文本、图像、mp3 - 在发送到神经网络之前，所有内容都经过矢量化。

【讨论】：

好的，但是有什么方法可以将 dl4j 或 nd4j 直接连接到 postgres？
当然不，这种联系毫无意义。这就是数据工程师通常做的事情——他们将原始数据转换成机器学习算法可以理解的东西。此外，他们还进行数据清理、预处理/后处理、规范化等