【问题标题】:wlm redshift give 100% memory to both queuewlm redshift 为两个队列提供 100% 的内存
【发布时间】:2016-03-12 05:29:41
【问题描述】:

ETL 和分析师正在使用亚马逊红移。 我希望限制所有分析师能够运行查询最多 10 分钟,另一方面,我希望 ETL 任务运行的查询不会超时。

使用 wlm 似乎是个好主意。所以我创建了两个队列,一个用于 ETL 任务,一个用于分析师。但是 wlm 在两个队列之间平均分配内存。 ETL 只在夜间运行,分析师只在白天运行查询,不想这样浪费内存

【问题讨论】:

    标签: memory-management amazon-redshift


    【解决方案1】:

    WLM 允许您指定队列获得的内存百分比:http://docs.aws.amazon.com/redshift/latest/dg/cm-c-defining-query-queues.html

    此外,它还允许您通过 API 动态更改分配:http://docs.aws.amazon.com/cli/latest/reference/redshift/modify-cluster-parameter-group.html

    例如,您可以在白天拥有 Analyst 队列:(90%,5 个时隙)、ETL 队列:(10%,1 个时隙),以及 Analyst 队列:(10%,1 个时隙)、ETL 队列:( 90%,1 个时段)在夜间。

    【讨论】:

    • 这似乎很容易出错,因为任务失败或花费比平时更长的时间。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-11-25
    • 1970-01-01
    • 1970-01-01
    • 2011-03-09
    相关资源
    最近更新 更多