如何使用 Python 在 PostGIS 中高效插入数据？答案

【问题标题】：How increate efffciency insert data in PostGIS with Python?如何使用 Python 在 PostGIS 中高效插入数据？
【发布时间】：2021-05-10 05:31:37
【问题描述】：

我需要在合适的时间将 4600 万个点插入 PostGIS 数据库。插入 1400 万个点执行了大约 40 分钟，它很糟糕而且效率很低。

我使用空间 GIST 索引创建了数据库并编写了以下代码：

import psycopg2
import time

start = time.time()

conn = psycopg2.connect(host='localhost', port='5432', dbname='test2', user='postgres', password='alfabet1')

filepath = "C:\\Users\\nmt1m.csv"
curs = conn.cursor()
with open(filepath, 'r') as text:
    for i in text:
        i = i.replace("\n", "")
        i = i.split(sep=" ")
        curs.execute(f"INSERT INTO nmt_1 (geom, Z) VALUES (ST_GeomFromText('POINTZ({i[0]} {i[1]} {i[2]})',0), {i[2]});")
conn.commit()
end = time.time()

print(end - start)

curs.close()
conn.close()

我正在寻找插入数据的最佳方法，它不一定是在 python 中。

谢谢 ;)

【问题讨论】：

看看stackoverflow.com/a/57337636/7216865或psycopg.org/docs/cursor.html#cursor.copy_from

标签： python database postgresql postgis

【解决方案1】：

切希奇！欢迎来到 SO。

您可以采取一些措施来加快批量插入的速度：

如果目标表为空或未在生产系统中使用，请考虑在插入数据之前立即删除索引。插入完成后，您可以重新创建它们。这将避免 PostgreSQL 在每次插入后重新索引您的表，在您的情况下这意味着 4600 万次。
如果目标表可以完全从您的 CSV 文件构建，请考虑创建一个UNLOGGED TABLE。未记录的表比“普通”表快得多，因为它们（顾名思义）没有记录在 WAL 文件中（预写日志）。如果数据库崩溃或非正常关闭，未记录的表可能会丢失！
正如@MauriceMeyer 指出的那样，使用PostgreSQL COPY 命令或copy_from。如果由于某种原因您必须坚持插入，请确保您没有在每次插入后提交；-)

干杯

【讨论】：

【解决方案2】：

感谢 Jim 的帮助，根据您的指示插入数据的更好方法是：

import psycopg2
import time

start = time.time()
conn = psycopg2.connect(host='localhost', port='5432', dbname='test2',
user='postgres', password='alfabet1')
curs = conn.cursor()
filepath = "C:\\Users\\Jakub\\PycharmProjects\\test2\\testownik9_NMT\\nmt1m.csv"

curs.execute("CREATE UNLOGGED TABLE nmt_10 (id_1 FLOAT, id_2 FLOAT, id_3 FLOAT);")

with open(filepath, 'r') as text:
     curs.copy_from(text, 'nmt_10', sep=" ")

curs.execute("SELECT AddGeometryColumn('nmt_10', 'geom', 2180, 'POINTZ', 3);")
curs.execute("CREATE INDEX nmt_10_index ON nmt_10 USING GIST (geom);")
curs.execute("UPDATE nmt_10 SET geom = ST_SetSRID(ST_MakePoint(id_1, id_2, id_3), 2180);")

conn.commit()
end = time.time()
print(end - start)

干杯

【讨论】：