提取时间戳间隔最小的记录的优化函数

Question

我在 Postgres 9.4.5 中有一个大的时间戳表：

CREATE TABLE vessel_position (
  posid serial NOT NULL,
  mmsi integer NOT NULL,
  "timestamp" timestamp with time zone,
  the_geom geometry(PointZ,4326),
  CONSTRAINT "PK_posid_mmsi" PRIMARY KEY (posid, mmsi)
);

附加索引：

CREATE INDEX vessel_position_timestamp_idx ON vessel_position ("timestamp");

我想提取时间戳在前一行之后至少 x 分钟的每一行。我使用LAG() 尝试了一些不同的SELECT 语句，这些语句都有效，但没有给我我需要的确切结果。下面的函数给了我我需要的东西，但我觉得它可以更快：

CREATE OR REPLACE FUNCTION _getVesslTrackWithInterval(mmsi integer, startTime character varying (25) ,endTime character varying (25), interval_min integer)
RETURNS SETOF vessel_position AS
$func$
DECLARE
    count integer DEFAULT 0;
    posids varchar DEFAULT '';
    tbl CURSOR FOR
    SELECT
      posID
      ,EXTRACT(EPOCH FROM (timestamp -  lag(timestamp) OVER (ORDER BY posid asc)))::int as diff
    FROM vessel_position vp WHERE vp.mmsi = $1  AND vp.timestamp BETWEEN $2::timestamp AND $3::timestamp;
BEGIN
FOR row IN tbl
LOOP
    count := coalesce(row.diff,0) + count;
    IF count >= $4*60 OR count = 0 THEN
            posids:= posids || row.posid || ',';
            count:= 0;
     END IF;
END LOOP;
RETURN QUERY EXECUTE 'SELECT * from vessel_position where posid in (' || TRIM(TRAILING ',' FROM posids) || ')';
END
$func$ LANGUAGE plpgsql;

我不禁想到将所有posids 作为一个字符串，然后在最后再次选择它们会减慢速度。 在IF 语句中，我已经可以访问我想要保留的每一行，因此可以将它们存储在临时表中，然后在循环结束时返回临时表。

可以优化此功能 - 特别是提高性能吗？

Answer 1

查询

你的函数有各种昂贵的、不必要的开销。单个查询应该快很多倍，同样的做法：

CREATE OR REPLACE FUNCTION _get_vessel_track_with_interval
 (mmsi int, starttime timestamptz, endtime timestamptz, min_interval interval)
  RETURNS SETOF vessel_position AS
$func$
BEGIN
   SELECT (vp).*  -- parentheses required for decomposing row type
   FROM  (
      SELECT vp   -- whole row (!)
           , timestamp - lag(timestamp) OVER (ORDER BY posid) AS diff
      FROM   vessel_position vp
      WHERE  vp.mmsi = $1
      AND    vp.timestamp >= $2     -- typically you'd include the lower bound
      AND    vp.timestamp <  $3;    -- ... and exlude the upper
      ORDER  BY posid
      ) sub
   WHERE  diff >= $4;
END
$func$  LANGUAGE plpgsql STABLE;

也可以只是一个 SQL 函数或没有任何包装器的裸 SELECT（可能作为准备好的语句？Example.）

注意starttime 和endtime 是如何作为timestamp 传递的。 （作为text 传递并转换是没有意义的。）最小间隔min_interval 是实际的interval。通过您选择的任何间隔。

索引

如果mmsi 上的谓词以任何方式具有选择性，那么您当前拥有的两个索引（PK ON (posid, mmsi) 和(timestamp) 上的idx）不是很有用。如果您将 PK 的列顺序反转为 (mmsi, posid)，它对于手头的查询变得更加有用。见：

• Is a composite index also good for queries on the first field?

对此的最佳索引通常位于vessel_position(mmsi, timestamp)。相关：

• Multicolumn index and performance
• PostgreSQL performance with (col = value or col is NULL)
• Query does not hit the index - are these the proper columns to index?

旁白：避免将keywords 作为标识符。那是自找麻烦。另外，实际上包含timestamptz 的列timestamp 具有误导性。