来自 S3 或云存储的 Multipart/form curl答案

【问题标题】：Multipart/form curl from S3 or cloud storage来自 S3 或云存储的 Multipart/form curl
【发布时间】：2021-11-30 14:53:28
【问题描述】：

我正在尝试使用 BashOperator 通过 Airflow 向 API 发出 POST 请求。

我尝试使用 cURL 将文件上传到 API。

当我在 Postman 上对其进行测试时，它可以工作，因为该文件位于我的本地文件系统中（使用了正文选项卡上的选择文件选项），但在 Airflow 中，该文件是 S3 存储。

是否有可能直接从 S3 加载文件？

我已经尝试填写该字段 --form file=@'s3 path' 但没有成功。

【问题讨论】：

【解决方案1】：

您需要先从 S3 中提取文件，然后通过 API 发布。两者都可以通过 curl 实现（前提是您具有正确的身份验证/授权）。

您甚至可以将第一个 CURL 的输出通过管道传输到第二个。

您可以在这里找到类似的情况：use pipe for curl data 只需替换“cat 文件”即可使用正确的 curl 命令从 s3 获取文件。

【讨论】：