【发布时间】:2014-08-04 10:16:58
【问题描述】:
我有一个存储事件的表(目前大约 5M,但还会更多)。每个事件都有两个我关心的查询属性——location(纬度和经度对)和relevancy。
我的目标是:对于给定的位置范围(SW / NE 纬度/经度对,因此 4 个浮点数)返回位于这些范围内的 relevancy 的前 100 个事件。
我目前正在使用以下查询:
select *
from event
where latitude >= :swLatitude
and latitude <= :neLatitude
and longitude >= :swLongitude
and longitude <= :neLongitude
order by relevancy desc
limit 100
让我们暂时搁置此查询无法处理的日期线环绕问题。
这适用于较小的位置范围,但每当我尝试使用较大的位置范围时,就会出现相当严重的滞后。
我定义了以下索引:
CREATE INDEX latitude_longitude_relevancy_index
ON event
USING btree
(latitude, longitude, relevancy);
表格本身非常简单:
CREATE TABLE event
(
id uuid NOT NULL,
relevancy double precision NOT NULL,
data text,
latitude double precision NOT NULL,
longitude double precision NOT NULL
CONSTRAINT event_pkey PRIMARY KEY (id)
)
我尝试了explain analyze 并得到了以下结果,我认为这意味着甚至没有使用索引:
"Limit (cost=1045499.02..1045499.27 rows=100 width=1249) (actual time=14842.560..14842.575 rows=100 loops=1)"
" -> Sort (cost=1045499.02..1050710.90 rows=2084754 width=1249) (actual time=14842.557..14842.562 rows=100 loops=1)"
" Sort Key: relevancy"
" Sort Method: top-N heapsort Memory: 351kB"
" -> Seq Scan on event (cost=0.00..965821.22 rows=2084754 width=1249) (actual time=3090.660..12525.695 rows=1983213 loops=1)"
" Filter: ((latitude >= 0::double precision) AND (latitude <= 180::double precision) AND (longitude >= 0::double precision) AND (longitude <= 180::double precision))"
" Rows Removed by Filter: 3334584"
"Total runtime: 14866.532 ms"
我在 Win7 上使用 PostgreSQL 9.3,对于这个看似简单的任务,迁移到其他任何东西似乎有点矫枉过正。
问题:
- 有什么方法可以使用不同的索引来帮助当前查询更快?
- 有什么方法可以更快地重写当前查询?
- 最简单的方法是什么?安装 PostGIS 并使用
GEOGRAPHYdata 类型?这真的会给我现在正在做的事情带来性能优势吗?哪个 PostGIS 函数最适合此查询?
编辑 #1:vacuum full analyze 的结果:
INFO: vacuuming "public.event"
INFO: "event": found 0 removable, 5397347 nonremovable row versions in 872213 pages
DETAIL: 0 dead row versions cannot be removed yet.
CPU 17.73s/11.84u sec elapsed 154.24 sec.
INFO: analyzing "public.event"
INFO: "event": scanned 30000 of 872213 pages, containing 185640 live rows and 0 dead rows; 30000 rows in sample, 5397344 estimated total rows
Total query runtime: 360092 ms.
抽真空后的结果:
"Limit (cost=1058294.92..1058295.17 rows=100 width=1216) (actual time=6784.111..6784.121 rows=100 loops=1)"
" -> Sort (cost=1058294.92..1063405.89 rows=2044388 width=1216) (actual time=6784.109..6784.113 rows=100 loops=1)"
" Sort Key: relevancy"
" Sort Method: top-N heapsort Memory: 203kB"
" -> Seq Scan on event (cost=0.00..980159.88 rows=2044388 width=1216) (actual time=0.043..6412.570 rows=1983213 loops=1)"
" Filter: ((latitude >= 0::double precision) AND (latitude <= 180::double precision) AND (longitude >= 0::double precision) AND (longitude <= 180::double precision))"
" Rows Removed by Filter: 3414134"
"Total runtime: 6784.170 ms"
【问题讨论】:
-
我同意索引没有被使用。索引 ddl 和查询对我来说看起来不错。您可以尝试更新表格上的统计信息吗?这个成本
cost=0.00..965821.22在我看来非常不准确。也许您只是在运行查询之前将数据转储到表中。 -
您使用的是哪个 Postgres 版本?我看到对带有
uuid列的表进行seq 扫描有时会相当慢。您可以尝试使用integer列作为 ID,看看是否有任何改变?我猜未使用索引的原因是where条件仍返回近 200 万行(共 530 万行)。如果条件返回的行数少于大约 15%,Postgres 通常只会使用索引。 -
Andreas,我在编辑 #1 中做了一个
vacuum full analyze并在上面报告了结果。 -
@a_horse_with_no_name,我在 Windows 7 64 位上使用 Postgres 9.3。我不确定我是否热衷于迁移到整数主键 - 在任何情况下,seq 扫描都会太慢,即使在使用整数时它会变得更快。返回太多行的想法很有趣 - 但我能做什么?
标签: sql postgresql indexing postgis