在气流中从 GCS 写入 Postgresql 的大多数 python 方式

【问题标题】：Most python way to write from GCS to Postgresql in airflow在气流中从 GCS 写入 Postgresql 的大多数 python 方式
【发布时间】：2021-11-16 08:27:21
【问题描述】：

我正在构建一个气流 dag，它从 GCS 获取 csv 文件并将它们插入到云 SQL 中的 postgresql 表中。我有几个选择：

使用 sqlalchemy 插入 reows。
使用熊猫
探索 PostgreSQL 气流运算符（我不知道如何将它们与 gcs 连接）。

哪种方式最符合 Python 风格？

【问题讨论】：

标签： python postgresql airflow

【解决方案1】：

你应该选择 COPY。

见https://www.postgresql.org/docs/current/sql-copy.html

COPY 在 PostgreSQL 表和标准文件系统文件之间移动数据。 COPY TO 将表的内容复制到文件，而 COPY FROM 将数据从文件复制到表（将数据附加到表中已有的内容）。

【讨论】：