【发布时间】:2014-04-16 18:29:35
【问题描述】:
我有一个 Python 脚本,它使用 psycopg2 执行 COPY 命令将数据从 S3 复制到 Redshift,这在 cron 计划上运行良好。
现在我想检查一下数据是否每次都正确加载,并想查询STL_LOAD_COMMITS 和STL_LOAD_ERRORS 表。
有没有人知道是否有办法获取ID 从COPY 命令返回的查询,以便用于查询上面的表并检索相关的日志记录?
我不相信COPY 会返回任何东西,但如果有人发现了一些在代码中检查负载的聪明方法,我会很感兴趣。
编辑:也许正确的方法是使用文件名而不是查询 ID 进行查询,因为我知道我已加载的文件的名称。
select *
from STL_LOAD_COMMITS
where filename in ('s3://bucket/4f737c05-8f16-4ba7-8f50-30423369c389.csv.gz',
's3://bucket/5fe4fea9-a9e4-4622-b9f6-ed3f98f7d1e2.csv.gz')
【问题讨论】:
标签: python psycopg2 amazon-redshift