反向地理编码：如何使用 BigQuery SQL 确定最接近 (lat,lon) 的城市？答案

【问题标题】：Reverse- geocoding: How to determine the city closest to a (lat,lon) with BigQuery SQL?反向地理编码：如何使用 BigQuery SQL 确定最接近 (lat,lon) 的城市？
【发布时间】：2019-05-09 17:42:48
【问题描述】：

我有大量的点 - 我想确定离每个点最近的城市。如何使用 BigQuery 做到这一点？

【问题讨论】：

标签： sql google-bigquery gis geocoding reverse-geocoding

【解决方案1】：

这是迄今为止我们制定的性能最好的查询：

WITH a AS (
  # a table with points around the world
  SELECT * FROM UNNEST([ST_GEOGPOINT(-70, -33), ST_GEOGPOINT(-122,37), ST_GEOGPOINT(151,-33)]) my_point
), b AS (
  # any table with cities world locations
  SELECT *, ST_GEOGPOINT(lon,lat) latlon_geo
  FROM `fh-bigquery.geocode.201806_geolite2_latlon_redux` 
)

SELECT my_point, city_name, subdivision_1_name, country_name, continent_name
FROM (
  SELECT loc.*, my_point
  FROM (
    SELECT ST_ASTEXT(my_point) my_point, ANY_VALUE(my_point) geop
      , ARRAY_AGG( # get the closest city
           STRUCT(city_name, subdivision_1_name, country_name, continent_name) 
           ORDER BY ST_DISTANCE(my_point, b.latlon_geo) LIMIT 1
        )[SAFE_OFFSET(0)] loc
    FROM a, b 
    WHERE ST_DWITHIN(my_point, b.latlon_geo, 100000)  # filter to only close cities
    GROUP BY my_point
  )
)
GROUP BY 1,2,3,4,5

【讨论】：

@hoffa 如果我有 IP 地址而不是纬度，长坐标。我应该参考哪个公共数据集表来获取地理编码。
cloud.google.com/blog/products/data-analytics/…

【解决方案2】：

我有很多积分...

Felipe 的解决方案在很多方面都很完美，但我发现，如果您确实没有几个点可以搜索最近的城市，并且您不能将自己限制在 60 英里以下的距离，解决方案效果会更好

#standardSQL
WITH a AS (
  # a table with points around the world
  SELECT ST_GEOGPOINT(lon,lat) my_point
  FROM `fh-bigquery.geocode.201806_geolite2_latlon_redux`  
), b AS (
  # any table with cities world locations
  SELECT *, ST_GEOGPOINT(lon,lat) latlon_geo, ST_ASTEXT(ST_GEOGPOINT(lon,lat)) hsh 
  FROM `fh-bigquery.geocode.201806_geolite2_latlon_redux` 
)
SELECT AS VALUE 
  ARRAY_AGG(
    STRUCT(my_point, city_name, subdivision_1_name, country_name, continent_name) 
    LIMIT 1
  )[OFFSET(0)]
FROM (
  SELECT my_point, ST_ASTEXT(closest) hsh 
  FROM a, (SELECT ST_UNION_AGG(latlon_geo) arr FROM b),
  UNNEST([ST_CLOSESTPOINT(arr, my_point)]) closest
)
JOIN b 
USING(hsh)
GROUP BY ST_ASTEXT(my_point)

注意：

我正在使用ST_CLOSESTPOINT函数
为了模仿not just few points ... 的情况，我使用与b 中相同的表，因此有100K 点可以搜索最近的城市，并且对查找城市的距离也没有限制（对于这种情况 - 查询在原始答案中将以著名的Query exceeded resource limits 结尾-否则，如果不是最佳性能，它会显示出更好的性能，因为它确实在该答案中说明）

【讨论】：