【问题标题】:Hadoop cluster - Performance difference between normal and secure form of clustersHadoop 集群 - 正常形式和安全形式的集群之间的性能差异
【发布时间】:2017-05-18 02:43:51
【问题描述】:

普通 Hadoop 集群和配置了 Kerberos 和 SSL 的安全 Hadoop 集群之间的性能会有所不同吗?

考虑到两种集群的机器配置相同,完成作业所需的时间是否不同?如果是,我们是否有任何已知的关于时差的时间指标?喜欢,

  • 正常集群 - 1.5 小时
  • 安全集群 - 2.5 小时

【问题讨论】:

    标签: performance hadoop kerberos hadoop2


    【解决方案1】:

    是的。由于 Kerberos 和 SSL,所有 API 调用都会产生开销。

    作业完成时间会有所不同,但如果不知道在作业中调用 API 的次数,就无法知道这是多少。一般来说,影响将是最小的,但由于您将另一个网络组件引入您的工作流程(KDC),您可能会遇到严重的降级 取决于您的集群有多大以及 KDC 和集群之间的任何网络问题,以及 KDC 的配置方式。有关详细信息,请参阅以下内容。

    https://community.hortonworks.com/questions/31205/performance-impact-of-security-ssl-tde-ranger-kerb.html

    https://www.cloudera.com/documentation/enterprise/5-8-x/topics/impala_scalability.html#kerberos_overhead_cluster_size

    HTTP vs HTTPS performance

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2018-01-17
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-02-09
      • 2017-06-20
      • 1970-01-01
      相关资源
      最近更新 更多