使用 dl4j RecordReader 解析 JSON

Question

我计划在以下格式的数据集上使用 dl4j：

{"articles": [{"abstractText":"text..", "journal":"journal..", "meshMajor":["mesh1",...,"meshN"], "pmid":"PMID", "title":"title..", "year":"YYYY"},..., {..}]}

字段 meshMajor 包含类标签，其余是模型的输入。输入特征是文本数据。

我想知道是否有任何内置的 JSON 数据集迭代器，例如 CSV 迭代器。我在 github 上发布的示例中进行了查找，但找不到一个。如果没有可用的，有人可以提供一些关于实现它的指示。

谢谢！

Answer 1

这看起来是一个充满希望的开始：

https://deeplearning4j.org/docs/latest/datavec-serialization

然后您应该能够使用此处的示例：

https://github.com/deeplearning4j/dl4j-examples/tree/master/datavec-examples/src/main/java/org/datavec/transform/basic

Answer 2

在 DL4J 的 gitter 中问过这个问题，解决方案是使用 Jackson 记录阅读器。更多详细信息可在https://github.com/deeplearning4j/DataVec/tree/master/datavec-api/src/main/java/org/datavec/api/records/reader/impl/jackson 获得，阅读 JSON 的示例可在

1. https://github.com/deeplearning4j/DataVec/blob/master/datavec-api/src/test/java/org/datavec/api/records/reader/impl/JacksonLineRecordReaderTest.java 和，

2. https://github.com/deeplearning4j/DataVec/blob/master/datavec-api/src/test/java/org/datavec/api/records/reader/impl/JacksonRecordReaderTest.java

请注意，JacksonLineRecordReader 和 JacksonRecordReaderTest.java 之间存在差异，前者要求每个 JSON 记录恰好跨越一行，而后者要求每个 JSON 记录一个文件。