【问题标题】:How to configure Presto如何配置 Presto
【发布时间】:2018-03-28 15:33:46
【问题描述】:

我在集群上安装了 presto 以执行一些查询。我有 4 个节点和 16GB 的 RAM。我已按照步骤配置 presto,但是当我运行查询时,它需要永远,比 Hive 上的相同查询要多得多。所以我认为我的配置有问题。

我想我的 node.properties 文件属性中的值可能有误 query.max-memory 和 query.max-memory-per-node。考虑到我在每个节点中有 16GB 的 RAM,这个属性的正确值是多少?

谢谢

【问题讨论】:

    标签: hadoop hive hortonworks-data-platform presto


    【解决方案1】:

    您已找到可能需要调整的正确属性。但是没有“正确”的价值......这真的取决于你的数据+查询。您能否提供您正在运行的数据集和查询类型的一般摘要?

    【讨论】:

    • 在这一刻我想运行一些 TPC-DS 基准测试
    • 您使用什么比例因子?您是否有一些未按预期工作的示例查询?还是全部?
    • 我使用 10、30、50 和 100GBm 来执行基准测试...我遇到的最关键的情况是查询 95...我只能在以下比例因子上运行10GB (github.com/hortonworks/hive-testbench/blob/hive14/…) 其他人在查询执行期间杀死所有工作人员
    猜你喜欢
    • 2013-12-01
    • 2019-08-05
    • 1970-01-01
    • 2020-12-19
    • 2019-10-07
    • 2019-12-16
    • 2019-02-05
    • 1970-01-01
    • 2023-03-22
    相关资源
    最近更新 更多