Hive 外部表 - 选择不匹配的记录

Question

我创建了两个 Hive 外部表（可以使用 SQL 查询），它们指向我需要比较两个输出的位置。

我需要比较两个表并选择不匹配的记录。

表A

id   sdate   edate  tag

S1 20180610 20180611 0

S2 20180610 20180612 0

S3 20180612 20180613 0

S5 20180612 20180613 1

表B

id  sdate    edate  tag

S1 20180610 20180611 0

S2 20180611 20180612 0

S3 20180612 20180613 1

S4 20180612 20180613 1

需要的输出

S3 20180612 20180613 0

S5 20180612 20180613 1

S4 20180612 20180613 1

尝试通过连接两个表来编写查询，但对我不起作用。

感谢您对此的帮助

谢谢:)

Answer 1

此查询将帮助您以有效的方式识别记录

create table unmatched as 
select 
a.*
from tableA as a left join (select *, true as flag from tableB) as b on
a.id=b.id a.sdate=b.sdate a.edate=b.edate a.tag=b.tag
where b.flag is null --this will get records in tableA but not in table B
union all 
select 
b.*
from tableB as b left join (select *, true as flag from tableA) as a on
a.id=b.id a.sdate=b.sdate a.edate=b.edate a.tag=b.tag
where a.flag is null --this will get records in tableB but not in table A
;

您可以使用完全连接来执行此操作，但效率会低得多

Answer 2

我们可以使用以下查询轻松做到这一点。

请注意，我不确定您为什么要从输出中消除 s2，因为它在两个表中明显不同。

此外，如果您想在两个表中查找不同的记录，则 S3 将出现两次，因为两种情况下的标志值都不同。

您可以根据需要修改以下查询并获取结果。 由于我们只加入这些表一次，这比加入两次具有更好的性能。

select distinct
case when a.id is not null then a.id else b.id end as id,
case when a.sdate is not null then a.sdate else b.sdate end as sdate,
case when a.edate is not null then a.edate else b.edate end as edate,
case when a.tag is not null then a.tag else b.tag end as tag,
case when a.id is not null then 'table1' else 'table2'  end as tb_id
from table1 a
full join table2 b
on a.id=b.id 
and a.sdate=b.sdate 
and a.edate=b.edate 
and a.tag=b.tag
where (a.id is null
and a.sdate is null
and a.edate is null
and a.tag is null) 
or (b.id is null
and b.sdate is null
and b.edate is null
and b.tag is null)

Answer 3

select * from (select * from tableA
union DISTINCT  
select * from tableB) as finalTable
where id not in (select * from tableA t1 join tableB t2
              on t1.is=t2.id and t1.sdate=t2.sdate and t1.edate=t2.edate and t1.tag=t2.tag);

第一个联合 DISTINCT 行并制作 finalTable 。它有所有唯一的行。

然后在两个表之间进行内部连接。

最后减去它们，现在你得到了答案。

示例：

如果你从第一个减去第二个，那么你得到 [1,4] 你想要哪个