【发布时间】:2018-11-21 07:09:40
【问题描述】:
我需要知道从 chunk(100) 中的一个数据库读取数据的最佳方法是什么,并根据该数据从其他数据库服务器读取数据。 示例:从一个数据库服务器获取 id,并根据该 id 从其他数据库服务器获取数据。
我在谷歌上搜索过,但没有找到两次读取和批量写入一次的解决方案。
一种方法是分块读取,在进程内部我们获取 id 并访问数据库。但是过程会一次获取单个数据,这是最耗时的。
第二种方法是进行两个不同的步骤,但在此我们无法将 id 列表共享给其他步骤,因为我们只能将少量数据共享给其他步骤。
需要知道什么是接连阅读两遍的最佳方法。
【问题讨论】: