【问题标题】:Redshift : Data migration红移:数据迁移
【发布时间】:2016-10-19 11:55:40
【问题描述】:

我需要在两个 redshift 环境之间迁移表(生产到登台,反之亦然)。这两个环境在物理上是不同的位置。是否有任何实用程序可用于此。我不想使用 ETL 工具。 到目前为止,我已经尝试使用卸载到 csv 并加载,但它并不像预期的那样快。 我也需要自动化这个活动。请建议最好的方法。

【问题讨论】:

  • 您是否尝试过 Redshift 快照?您甚至可以仅从快照还原表。由于制作快照不会花费太长时间,因此它适合您。检查此以获取详细信息。 docs.aws.amazon.com/redshift/latest/mgmt/…
  • 吞吐量如何,能否处理多线程并行迁移?
  • 你说你正在使用卸载,这很慢,你是卸载到 s3 还是其他地方?
  • @JonScott 我正在将其卸载到 s3 。

标签: amazon-redshift


【解决方案1】:

只有两种方法可以从 Amazon Redshift 导出数据:

  • 使用 UNLOAD 命令将 CSV 文件保存到 Amazon S3
  • 创建 Amazon Redshift 集群的快照

现在可以Restoring a Table from a Snapshot,因此您可以对整个集群进行快照,然后将所需的表恢复到另一个集群。

文档说:

您可以从快照恢复单个表,而不是恢复整个集群。当您从快照恢复单个表时,您需要为恢复的表指定源快照、数据库、架构和表名,以及目标集群、架构和新表名。 p>

您应该测试该过程以确定恢复的速度。

可以使用AWS Command-Line Interface (CLI) 中的aws redshift restore-table-from-cluster-snapshot 命令自动执行该过程。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-06-23
    • 2017-06-24
    • 2011-01-28
    • 1970-01-01
    相关资源
    最近更新 更多