在 EMR 中为 Presto 设置 hive 配置属性答案

【问题标题】：Setting hive configuration properties for Presto in EMR在 EMR 中为 Presto 设置 hive 配置属性
【发布时间】：2018-09-26 15:29:45
【问题描述】：

我正在尝试更新 /etc/presto/conf/catalog/hive.properties 中的配置单元连接器属性。我添加了以下内容：

hive.s3.max-client-retries=50
hive.s3.max-error-retries=50
hive.s3.max-connections=500
hive.s3.connect-timeout=5m
hive.s3.socket-timeout=5m

但由于某种原因，这些不被接受。 presto 服务器重启失败，出现以下错误：

2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   UNUSED PROPERTIES
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.connect-timeout
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.max-client-retries
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.max-connections
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.max-error-retries
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.socket-timeout
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   
2018-04-16T19:34:26.587Z    ERROR   main    com.facebook.presto.server.PrestoServer Unable to create injector, see the following errors:

1) Configuration property 'hive.s3.connect-timeout' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

2) Configuration property 'hive.s3.max-client-retries' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

3) Configuration property 'hive.s3.max-connections' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

4) Configuration property 'hive.s3.max-error-retries' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

5) Configuration property 'hive.s3.socket-timeout' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

5 errors

【问题讨论】：

hive.s3-file-system-type 的值是多少？这些属性适用于文件系统类型为PRESTO。
@PiotrFindeisen 你的评论看起来像是一个答案。
我将我的评论转化为答案。

标签： hive amazon-emr presto

【解决方案1】：

这些属性在 hive.s3-file-system-type 设置为 PRESTO 时适用。当它是例如。 EMRFS，这些配置属性不适用，设置它们会导致您观察到的错误。

【讨论】：

感谢 Piotr。 Presto FS 和 EMRFS 之间是否存在性能差异？我想知道是否应该在 EMRFS 中配置这些属性或切换到 Presto FS
@nish 出于性能考虑，请参阅 EMR 上的 Presto（使用 EMRFS）和 EC2 上的 Presto（不使用 EMRFS）的基准。 starburstdata.com/technical-blog/… 一些最大的差异可以归因于 CBO，但不是全部（我们知道 CBO 在哪些查询中有帮助，在哪些查询中没有帮助）。对于基准测试，我们将 EMR 从其默认设置调高，因为默认设置并未产生最佳性能。免责声明：我来自 Starburst。

【解决方案2】：

正如 Piotr 所提到的，EMR 将从 emr-5.12.0 开始的默认 FileSystem 实现从 PrestoS3FileSystem 更改为 EmrFS。 PrestoS3FileSystem 属性将不可用，但您可以像配置任何其他应用程序一样配置 EmrFS。有关更多信息，请参阅https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-presto-considerations.html 上的“EMRFS 和 PrestoS3FileSystem 配置”。

【讨论】：

感谢您添加此内容！