Java - 合并来自不同数据源中的 2 个表的数据

Question

我有一个用例，我必须合并来自 2 个表（位于不同数据源中）的数据。 考虑每个表都有员工数据（名字、姓氏、电话号码）。对于每个员工，我必须合并两个表中的 phoneNumber 数据，其他数据将保持与表 1 中的相同

1. 如果表 1 和表 2 中都存在员工数据，则 phoneNumber 数据将合并为逗号分隔值，其他数据将来自表 1
2. 如果员工仅出现在表 1 中，则整个数据将来自表 1
3. 如果员工只出现在表 2 中，那么整个数据将来自表 2

这些表每个都有大约 40 行缺少数据。接近 5GB。 在 Java 中执行此操作的最佳方法是什么？我担心的是，如果我将这 2 个表中的数据提取到 Java 缓存中，我仍然需要循环考虑整个表 2 以查看那里是否还有员工。 还是python脚本会更好？

表 1

EmployeeID	FirstName	LastName	PhoneNumber
EM01	Jhon	Doe	12345
EM02	Dave	Joe	34567

表 2：

EmployeeID	FirstName	LastName	PhoneNumber
EM01	Jhon	Doe	89000
EM03	Gabe	Mai	45678

表3（合并电话号码后）：

EmployeeID	FirstName	LastName	PhoneNumber
EM01	Jhon	Doe	12345,89000
EM02	Dave	Joe	34567
EM03	Gabe	Mai	45678

Answer 1

您可以通过 SQL 查询轻松完成此操作。

基本上，您需要full join，但是——唉——MySQL 不支持。

所以，一种方法是：

select t1.EmployeeID, t1.FirstName, t1.LastName
       concat_ws(',', t1.PhoneNumber, t2.PhoneNumber) as PhoneNumber
from table1 t1 left join
     table2 t2
     on t1.EmployeeID = t2.EmployeeID
union all
select t2.EmployeeID, t2.FirstName, t2.LastName, t2.PhoneNumber
from table2 t2
     table1 t1 left join
     on t1.EmployeeID = t1.EmployeeID
where t1.EmployeeID is null;

即获取table1 中员工的所有行。然后添加来自table2 的附加行。第一部分concat_ws()方便组合电话号码。