如何在 Google Big Query 中使用间隔连接两个表？

Question

您已经确定了使用交叉连接在边界框/圆内查找区域的解决方案，如下所示：

SELECT A.ID, C.Car 
FROM Cars C 
CROSS JOIN Areas A
WHERE C.Latitude BETWEEN A.LatitudeMin AND A.LatitudeMax AND
  C.Longitude BETWEEN A.LongitudeMin AND A.LongitudeMax

在： How to cross join in Big Query using intervals?

但是，由于基础架构的限制，GBQ 运营团队阻止了对大型数据集使用交叉连接。
因此，我的问题是：如何在另一组边界框 small(table B) 中的大型数据表（表 A）中找到一组 lat,longs？

我的如下查询已被屏蔽：

select a.a1, a.a2 , a.mdl, b.name, count(1) count 
from TableMaster a 
CROSS JOIN places_locations b 
where (a.lat 
    BETWEEN  b.bottom_right_lat AND b.top_left_lat) 
AND (a.long 
    BETWEEN b.top_left_long AND b.bottom_right_long) 
group by ....

TableMaster 为 538 GB，有 6,658,716,712 行（已清理/绝对最小值） places_locations 每个查询的大小在 5 到 100kb 左右。

我尝试根据模板调整假联接： How to improve performance of GeoIP query in BigQuery?

但是，查询需要一个小时，并且不会产生任何结果，也不会显示任何错误。

您能找出解决这个难题的可能途径吗？

Answer 1

好的，所以假加入最后确实有效，解决方案：

` select a.B, a.C , count(1) count from ( SELECT B,  C, A, lat, long from [GB_Data.PlacesMasterA] WHERE not B

为空） JOIN (SELECT top_left_lat, top_left_long, bottom_right_lat, bottom_right_long, A from [Places.placeABOXA] ) b 在 a.A=b.A 在哪里 (a.lat BETWEEN b.bottom_right_lat AND b.top_left_lat) AND (a.long BETWEEN b.top_left_long AND b.bottom_right_long) 按 B、C 分组 `

Answer 2

您看到的问题是交叉联接生成了太多中间值（60 亿 x 1k = 6 万亿）。

解决此问题的方法是生成更少的输出。如果您有其他可以应用的过滤器，您应该在加入之前尝试应用它们。如果您可以在加入之前按（或部分）分组，那也会有所帮助。

此外，为了进行查找，您可以先进行更粗粒度的查找。也就是说，如果您可以对具有粗粒度区域的较小表进行初始交叉连接，那么您可以在区域 ID 上连接较大的表，而不是进行交叉连接。