从命令行导入 PostgreSQL CSV

Question

我一直在使用 psql Postgres 终端使用以下方法将 CSV 文件导入表中

COPY tbname FROM
'/tmp/the_file.csv'
delimiter '|' csv;

除了我必须登录到 psql 终端才能运行它之外，它工作正常。

我想知道是否有人知道从 Linux shell 命令行执行类似于此命令的方法，类似于 Postgres 如何允许像下面这样的 shell 命令

/opt/postgresql/bin/pg_dump dbname > /tmp/dbname.sql

这允许在不登录 psql 终端的情况下从 Linux shell 转储数据库。

Answer 1

接受答案中的解决方案仅适用于服务器，并且当执行查询的用户将有权读取文件时，如this SO answer 中所述。

否则，更灵活的方法是将SQL的COPY命令替换为psql's "meta-command" called \copy，其中which takes all the same options as the "real" COPY, but is run inside the client（最后不需要;）：

psql -c "\copy tbname FROM '/tmp/the_file.csv' delimiter '|' csv"

As per docs，\copy 命令：

执行前端（客户端）复制。这是一个运行 SQL COPY 命令的操作，但不是服务器读取或写入指定的文件，而是 psql 读取或写入文件并在服务器和本地文件系统之间路由数据。这意味着文件可访问性和权限是本地用户的，而不是服务器的，并且不需要 SQL 超级用户权限。

---

另外，如果the_file.csv在第一行包含header，可以通过在上述命令末尾添加header来识别：

psql -c "\copy tbname FROM '/tmp/the_file.csv' delimiter '|' csv header"

Answer 2

如 PostgreSQL 文档 (II. PostgreSQL Client Applications - psql) 中所述，您可以使用开关 -c 将命令传递给 psql（PostgreSQL 交互式终端）。您的选择是：

1、客户端CSV：\copy元命令

执行 SQL COPY 命令，但在客户端读取文件并将内容路由到服务器。

psql -c "\copy tbname FROM '/tmp/the_file.csv' delimiter '|' csv"

（this answer中最初提到的客户端选项）

2。服务器端 CSV：SQL COPY 命令

读取服务器上的文件（当前用户需要有必要的权限）：

psql -c "COPY tbname FROM '/tmp/the_file.csv' delimiter '|' csv;"

在服务器上读取文件所需的数据库角色：

COPY 命名文件或命令只允许数据库超级用户使用 或被授予默认角色之一的用户 pg_read_server_files、pg_write_server_files 或 pg_execute_server_program

PostgreSQL 服务器进程也需要访问该文件。

Answer 3

要完成之前的answer，我建议：

psql -d your_dbname --user=db_username -c "COPY tbname FROM '/tmp/the_file.csv' delimiter '|' csv;"

Answer 4

最灵活的方法是使用 shell HERE document，它允许您在查询中使用 shell 变量，甚至在（双引号或单引号）内：

#!/bin/sh

THE_USER=moi
THE_DB=stuff
THE_TABLE=personnel
PSQL=/opt/postgresql/bin/psql
THE_DIR=/tmp
THE_FILE=the_file.csv

${PSQL} -U ${THE_USER} ${THE_DB} <<OMG
COPY ${THE_TABLE} FROM '${THE_DIR}/${THE_FILE}' delimiter '|' csv;
OMG