Python psql \copy CSV 到远程服务器

Question

我正在尝试使用 python 3.6 将 csv（具有标题和引号字符“）复制到远程 postgres 10 服务器上的表中。它是一个大型 CSV（250 万行，800MB），而我之前导入将其放入数据帧，然后使用 dataframe.to_sql，这非常占用内存，所以我改用 COPY。

将 COPY 与 psycopg2 或 sqlalchemy 一起使用可以正常工作，但远程服务器无权访问本地文件系统。

在终端中使用 psql 我已成功运行下面的查询来填充表。我认为 psycopg2 或 sqlalchemy 无法使用 \copy。

\copy table (col1, col2) FROM file_location CSV HEADER QUOTE '"' NULL ''

但是，当我尝试使用如下所示的单行 psql -c 命令时，它不起作用并且出现错误：

错误：复制引号必须是单个单字节字符。

psql -U user -h ip -d db -w pw -c "\copy table (col1, col2) FROM file_location CSV HEADER QUOTE '"' NULL ''"

你能告诉我为什么会这样吗？

这个单行 -c psql 语句在 python 中使用 subprocess 模块实现比打开终端并执行我不知道该怎么做的命令更容易。如果您能提出解决方法或不同的方法，那就太好了。

====== 根据 Andrew 的建议，在命令行上转义引号字符。然而，当像下面这样在 python 中实现它时，会出现一个新的错误：

/bin/sh: -c: line 0: 寻找匹配的'''时出现意外的EOF

/bin/sh: -c: line 1: 语法错误：文件意外结束

"\"\copy table (col1, col2) FROM file_location CSV HEADER QUOTE '\"' NULL ''\""
cmd = f'psql -U {user} -h {ip} -d {db} -w {pw} -c {copy_statement}'
subprocess.call(cmd, shell=True)

Answer 1

如果可以避免的话，尽量不要使用shell=True。最好自己标记命令以帮助 sh。

subprocess.call(["psql", "-U", "{user}", "-h", "{ip}", "-d", "{db}", "-w", "{pw}", "-c", "{copy statement}"])

在这种情况下，您的复制语句可能会被逐字传递给 psql，因为没有需要考虑的 shell 引用问题。 （注意，python 仍然需要引用这个，所以字符串会保持原样）。

---

如果您仍然想使用shell=True，那么您必须为python 和 shell 转义字符串文字

"\"\copy table (col1, col2) FROM file_location CSV HEADER QUOTE '\\\"' NULL ''\""

将在python中创建一个字符串

"\copy table (col1, col2) FROM file_location CSV HEADER QUOTE '\"' NULL ''\"

我们发现我们首先需要在我们的外壳上使用它！

---

编辑（澄清来自 cmets 的内容）：

subprocess.call，当不使用shell=True 时，接受一个可迭代的参数。

所以你可以拥有

psql_command = "\"\copy table (col1, col2) FROM file_location CSV HEADER QUOTE '\\\"' NULL ''\""
# user, hostname, password, dbname all defined elsewhere above.
command = ["psql",
    "-U", user,
    "-h", hostname,
    "-d", dbname,
    "-w", password,
    "-c", psql_command,
]

subprocess.call(command)

见https://docs.python.org/2/library/subprocess.html#subprocess.call或https://docs.python.org/3/library/subprocess.html#subprocess.call

额外编辑：- 请注意，为避免 shell 注入，您应该使用此处描述的方法。见https://docs.python.org/2/library/subprocess.html#frequently-used-arguments的警告部分