用spring批处理读取复杂的json文件

Question

我有一个复杂的 json 文件（带有嵌套的 json 数组）结构，如下所示：

{"persons":[ 
{"id":"1", "firstName": "X", "lastName": "X", "infos": [{"address":[{"city": "X", "country": "X"}]}]},
{"id":"2", "firstName": "Y", "lastName": "Y", "infos": [{"address":[{"city": "Y", "country": "Y"}]}]}
]}

我想单独阅读每一行（一个人）

所以我的spring批处理配置是这样的

<bean id="reader" class="org.springframework.batch.item.file.FlatFileItemReader"
    scope="step">
    <property name="resource" value="#{jobParameters[file]}" />
    <property name="recordSeparatorPolicy" ref="recordPolicy" />
    <property name="lineMapper" ref="lineMapper" />
</bean>

<bean id="lineMapper"
    class="com.batchs.personJob.PersonLineMapper">
    <property name="delegate" ref="lineMapperType" />
</bean>

<bean id="lineMapperType"
    class="org.springframework.batch.item.file.mapping.JsonLineMapper" />

<bean id="recordPolicy"
    class="org.springframework.batch.item.file.separator.JsonRecordSeparatorPolicy" />

映射器类看起来像

    public class PersonLineMapper implements LineMapper<Person> {
    private JsonLineMapper delegate;

    public mapLine(String line, int lineNumber) throws Exception {
        Map<String, Object> personAsMap = delegate.mapLine(line, lineNumber);
        Person person = new Person();
        // map fields
        return person ;
    }

    public void setDelegate(JsonLineMapper delegate) {
        this.delegate = delegate;
    }
}

问题在于读者只读取一行（所以一次提交），因为他像一整行一样读取我的 json 文件中的人员数组，但我希望每行读取一行（一次一个人）

如何做到这一点？

我尝试过使用这样的简单 json 文件：

  { "id": "1",
      "firstName": "X",
      "lastName": "X"}
  { "id": "2",
      "firstName": "Y",
      "lastName": "Y"}

而且效果很好……我一个一个地读了每个人

非常感谢

Answer 1

很遗憾，您有两种选择：

1. 编写您自己的记录分隔符，忽略包装人员元素/行。
2. 在读取文件之前先在一个步骤中编辑文件，以使用类似 sed 命令的方式删除该包装行。

如果您选择选项 2，您可以在实际处理它之前的步骤中通过SystemCommandTasklet 执行它。

Answer 2

另一种方法是通过转换步骤运行文件以展平对象结构，这样您只需处理一个 People 数组。这应该没问题，除非您正在处理大文件。