通过 EC2 从 python 加载数据帧到雪花

Question

我有一个 python 数据框，我需要将它加载到雪花表中。我是通过 Jupyter notebook 做的，我能够加载数据。但是，当我在 EC2 中运行相同的代码时，我遇到了分段错误错误。我想问是否可以使用其他方法将数据从 python 数据帧加载到雪花中，例如创建临时 CSV 并通过 python 加载相同或以 pyarrow 格式更改它，然后通过 python 将其加载到雪花中。请注意，我不能使用 S3 存储桶。

Answer 1

你最好的方法是使用write_pandas()函数，它会创建一个临时文件，PUT它到雪花内部阶段，然后为你执行一个COPY INTO命令。

https://docs.snowflake.com/en/user-guide/python-connector-api.html#label-python-connector-api-write-pandas

不过，这不是唯一的方法，而且由于您的问题没有指定您使用的是哪种方法，我想我会从最好的方法开始。如果这是您已经在使用的方式，我将更新此答案。