Spring Batch 读取步骤循环运行

Question

我遇到了一段读取一些数据的代码，如下所示：

public class StudioReader implements ItemReader<List<Studio>> {
   @Setter private AreaDao areaDao;
   @Getter @Setter private BatchContext context;
   private HopsService hopsService = new HopsService();

   @Override
   public List<Studio> read() throws Exception {
      List<Studio> list = hopsService.getStudioHops();
      if (!isEmpty(list)) {
         for (Studio studio : list) {
            log.info("Studio being read: {}", studio.getCode());
            List areaList = areaDao.getArea(studio
                  .getCode());
            if (areaList.size() > 0) {
               studio.setArea((String) areaList.get(0));
               log.info("Area {1} is fetched for studio {2}", areaList.get(0), studio.getCode());
            }
            this.getContext().setReadCount(1);
         }
      }
      return list;
   }

但是，当我运行作业时，此读取会循环运行。我从另一个 stackoverflow answer 发现这是预期的行为。那么我的问题是给定这个特定示例的最佳解决方案是什么？从 JdbcCursorItemReader 扩展 StudioReader ？我找到了一个示例，它定义了 xml 中我不想要的所有内容。这是供读者阅读的 context.xml 部分：

  <bean class="org.springframework.batch.core.scope.StepScope" />
   <bean id="ItemReader" class="com.syc.studio.reader.StudioReader" scope="step">
      <property name="context" ref="BatchContext" />
      <property name="areaDao" ref="AreaDao" />
   </bean>

这里是 xml 中的作业定义：

 <bean id="StudioJob" class="org.springframework.batch.core.job.SimpleJob">
      <property name="steps">
         <list>
                     <bean id="StudioStep" parent="SimpleStep" >
                     <property name="itemReader" ref="ItemReader"/>
                     <property name="itemWriter" ref="ItemWriter"/>
                     <property name="retryableExceptionClasses">
                        <map>
                           <entry key="com.syc.studio.exception.CustomException" value="true"/>
                        </map>
                     </property>
                     <property name="retryLimit" value="2" />
                     </bean>
         </list>
      </property>
      <property name="jobRepository" ref="jobRepository" />
   </bean>

作者：

public void write(List<? extends Object> obj) throws Exception {
   List<Studio> list = (List<Studio>) obj.get(0);
   for (int i = 0; i <= list.size(); i++) {
      Studio studio = list.get(i);
      if (apiClient == null) {
        apiClient = new APIClient("v2");
     }
      this.uploadXML(studio);
   }

@holi-java 建议后的读取方法：

public List<Studio> read() throws Exception {
    if (this.listIterator == null) {
        this.listIterator = initializing();
    }
    return this.listIterator.hasNext() ? this.listIterator.next() : null;
}

private Iterator<List<Studio>> initializing() {
    List<Studio> listOfStudiosFromApi = hopsService.getStudioLocations();
    for (Studio studio : listOfStudiosFromApi) {
        log.info("Studio being read: {}", studio.getCode());
        List areaList = areaDao.getArea(studio.getCode());
        if (areaList.size() > 0) {
            studio.setArea((String) areaList.get(0));
            log.info("Area {1} is fetched for studio {2}", areaList.get(0), studio.getCode());
        }
        this.getContext().setReadCount(1);
    }
    return Collections.singletonList(listOfStudiosFromApi).iterator();
}

Answer 1

ItemReader.read assert 的 spring-batch 文档：

实现必须在输入数据集的末尾返回 null。

但是你的 read 方法总是返回一个 List 并且应该是这样的：

public Studio read() throws Exception {
    if (this.results == null) {
        List<Studio> list = hopsService.getStudioHops();
        ...
        this.results=list.iterator();
    }
    return this.results.hasNext() ? this.results.next() : null;
}

如果您希望您的读取方法返回一个列表，那么您必须像这样对结果进行分页：

public List<Studio> read() throws Exception {
    List<Studio> results=hopsService.getStudioHops(this.page++);
    ...
    return results.isEmpty()?null:results;
}

如果您无法从 Service 中分页结果，您可以这样解决：

public List<Studio> read() throws Exception {
    if(this.results==null){
     this.results = Collections.singletonList(hopsService.getStudioHops()).iterator();
    }

    return this.results.hasNext()?this.results.next():null;
}

最好不要阅读项目列表List<Studio>，而是一次阅读一个项目Studio。当您阅读项目列表时，您可能在 writers 和 processors 之间重复了迭代逻辑，正如您在 cmets 中展示的演示一样。如果您有大量数据列表要处理，您可以在阅读器中结合分页，例如：

public Studio read() throws Exception {
    if (this.results == null || !this.results.hasNext()) {
        List<Studio> list = hopsService.getStudioHops(this.page++);
        ...
        this.results=list.iterator();
    }

    return this.results.hasNext() ? this.results.next() : null;
}

也许你需要看看step processing mechanism。

• ItemReader - 一次读取一个项目。
• ItemProcessor - 一次处理一个项目。
• ItemWriter - 写出entire chunk of items。