使用 IAM 角色凭证通过 Python 卸载到 S3

Question

在 Redshift 中，我运行以下命令将表中的数据卸载到 S3 中的文件中：

unload('select * from table')
to 's3://bucket/unload/file_'
iam_role 'arn:aws:iam:<aws-account-id>:role/<role_name>'

我想在 Python 中做同样的事情——有什么建议可以复制吗？我看到了使用访问密钥和秘密的示例，但这不是我的选择——需要在非公共存储桶上使用基于角色的凭据。

Answer 1

您将需要两组凭据。通过 IAM 角色访问 S3 存储桶的 IAM 凭证和用于执行 SQL 命令的 Redshift ODBC 凭证。

以类似于 SQL Server 等其他数据库的方式创建一个连接到 Redshift 的 Python 程序，然后执行您的查询。该程序将需要 Redshift 登录凭据，而不是 IAM 凭据（Redshift 用户名、密码）。

S3 的 IAM 凭证作为角色分配给 Redshift，以便 Redshift 可以将结果存储在 S3 上。这是您问题中 Redshift 查询的 iam_role 'arn:aws:iam:<aws-account-id>:role/<role_name>' 部分。

您不需要 boto3（或 boto）来访问 Redshift，除非您计划实际与 Redshift API 交互（它不会访问存储在 Redshift 中的数据库）。

这是一个访问 Redshift 的示例 Python 程序。此代码的链接是here。归功于Varun Verma

Internet 上还有其他示例可以帮助您入门。

############ REQUIREMENTS ####################
# sudo apt-get install python-pip 
# sudo apt-get install libpq-dev
# sudo pip install psycopg2
# sudo pip install sqlalchemy
# sudo pip install sqlalchemy-redshift
##############################################

import sqlalchemy as sa
from sqlalchemy.orm import sessionmaker

#>>>>>>>> MAKE CHANGES HERE <<<<<<<<<<<<< 
DATABASE = "dbname"
USER = "username"
PASSWORD = "password"
HOST = "host"
PORT = ""
SCHEMA = "public"      #default is "public" 

####### connection and session creation ############## 
connection_string = "redshift+psycopg2://%s:%s@%s:%s/%s" % (USER,PASSWORD,HOST,str(PORT),DATABASE)
engine = sa.create_engine(connection_string)
session = sessionmaker()
session.configure(bind=engine)
s = session()
SetPath = "SET search_path TO %s" % SCHEMA
s.execute(SetPath)
###### All Set Session created using provided schema  #######

################ write queries from here ###################### 
query = "unload('select * from table') to 's3://bucket/unload/file_' iam_role 'arn:aws:iam:<aws-account-id>:role/<role_name>';"
rr = s.execute(query)
all_results =  rr.fetchall()

def pretty(all_results):
    for row in all_results :
        print "row start >>>>>>>>>>>>>>>>>>>>"
        for r in row :
            print " ----" , r
        print "row end >>>>>>>>>>>>>>>>>>>>>>"


pretty(all_results)


########## close session in the end ###############
s.close()