【问题标题】:HDFS Short circuit readsHDFS 短路读取
【发布时间】:2013-12-10 11:03:58
【问题描述】:

根据documentation,短路读取速度更快,因为它们不通过数据节点。如果是这样的话,那么

  1. 为什么默认不启用?
  2. 在哪些情况下需要短路读数?

【问题讨论】:

  • 好问题。我不知道为什么默认情况下不启用它。我从来没有遇到过短路读取是一件坏事的情况。

标签: hadoop hdfs


【解决方案1】:

看看这篇文章:http://blog.cloudera.com/blog/2013/08/how-improved-short-circuit-local-reads-bring-better-performance-and-security-to-hadoop/

文章摘要:

原始实现的一个主要缺点是它涉及安全隐患。它必须让客户直接读取数据文件。我想这对启用 kerberos 的 hdfs 来说是不利的。

新的实现改为传递一个文件描述符,据说这样更安全、更快。

我想旧方法有一些缺点。我看不出新方法的缺点是什么。我无法找到新方法出现在哪个 Hadoop 版本中的明确答案。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-12-11
    • 1970-01-01
    • 1970-01-01
    • 2020-02-21
    • 1970-01-01
    • 2012-09-09
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多