【问题标题】:Maximum file name size in HDFSHDFS 中的最大文件名大小
【发布时间】:2016-07-31 07:06:13
【问题描述】:

我有一个关于 hdfs 中文件名的最大大小和 hdfs 中文件路径的最大大小的问题(文件结构可以嵌套多深)。

我已经编写了一个 Map-Reduce 作业,并且正在为 Reducer 在输出中生成的文件生成自定义名称。所以只需要知道文件名的最大大小和目录结构的最大深度,这样我就可以确保在我的代码中我不会超过最大可能的大小。

提前致谢。

【问题讨论】:

    标签: hadoop hdfs


    【解决方案1】:

    这取决于操作系统下的文件系统。

    示例:对于 ext FS(目前在 Linux 上使用最多):

    max filename length: 255 bytes
    max path length: none
    

    扩展名不是 FS 知道的,它有 255 个字节,包括扩展名(你可以有没有任何扩展名的文件名)。

    【讨论】:

    • 什么时候运行我的 Map Reduce 作业文件系统默认是 HDFS(hadoop 分布式文件系统)。所以我的问题是针对 HDFS 的。
    • 这就是我想要解释的。这完全取决于操作系统。因此,如果您使用的是 UNIX 操作系统,那么您的 HDFS 将仅继承 UNIX 的文件名约定标准。
    【解决方案2】:

    HDFS 文件名长度没有单一的通用限制。这取决于配置。

    根据HDFS-6055,默认限制为255。

    【讨论】:

      猜你喜欢
      • 2018-12-26
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-02-24
      • 1970-01-01
      相关资源
      最近更新 更多