【问题标题】:Unload from Redshift to S3 fails从 Redshift 卸载到 S3 失败
【发布时间】:2014-03-12 17:58:09
【问题描述】:

我在 Redshift 中运行以下命令:

myDB=> unload ('select * from (select * from myTable limit 2147483647);')
       to 's3://myBucket/'
       credentials 'aws_access_key_id=***;aws_secret_access_key=***';

这是我返回的内容:

ERROR:  S3ServiceException:The bucket you are attempting to access must be addressed
        using the specified endpoint. Please send all future requests to this 
        endpoint.,Status 301,Error PermanentRedirect,Rid 85ACD9FFAFC5CE8F,
        ExtRid vsz4/0NdOAYbaJ48WYCnrYBCvuuL0cBTdcEN

DETAIL:  
-----------------------------------------------
error:  S3ServiceException:The bucket you are attempting to access must be addressed
        using the specified endpoint. Please send all future requests to this 
        endpoint.,Status 301,Error PermanentRedirect,Rid 85ACD9FFAFC5CE8F,
        ExtRid vsz4/0NdOAYbaJ48WYCnrYBCvuuL0cBTdcEN
code:      8001
context:   Listing bucket=myBucket prefix=
query:     0
location:  s3_unloader.cpp:181
process:   padbmaster [pid=19100]
-----------------------------------------------

有什么想法吗?或者也许想法如何将数据从 Redshift 转储到 MySQL 或类似的东西?

【问题讨论】:

    标签: mysql amazon-s3 amazon-redshift data-dump


    【解决方案1】:

    您缺少文件名的前缀部分。尝试使用 s3://myBucket/myPrefix

    【讨论】:

    • 文档还指出:Amazon Redshift 将写入输出文件的 Amazon S3 存储桶必须与您的集群位于同一区域。
    • 使用非美国 s3 存储桶时使用 path like 语法时返回错误消息。在与您的 redshift 集群相同的区域中创建一个新存储桶,然后一切正常。
    • 这是正确答案! Redshift 集群位于俄勒冈州,但 S3 存储桶位于美国标准。非常感谢 :) 能否请您单独提交,我会接受?
    【解决方案2】:

    对非美国存储桶使用类似路径的语法时返回错误消息。在与您的 redshift 集群相同的区域中创建一个新存储桶,一切都应该正常工作。

    【讨论】:

    • 稍微改述一下:Redshift集群和S3存储桶必须在同一个区域:)
    • 您可以写入不同区域的存储桶,但在使用 UNLOAD 时必须指定该区域。 EX:卸载 ('select * from (select * from myTable limit 2147483647);') 到 's3://myBucket/' 凭据 'aws_access_key_id=***;aws_secret_access_key=***' 区域:'us-west-2资源:docs.aws.amazon.com/redshift/latest/dg/…
    猜你喜欢
    • 2014-09-01
    • 1970-01-01
    • 2020-02-11
    • 2018-03-22
    • 1970-01-01
    • 1970-01-01
    • 2017-01-09
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多