【发布时间】:2016-07-31 07:06:13
【问题描述】:
我有一个关于 hdfs 中文件名的最大大小和 hdfs 中文件路径的最大大小的问题(文件结构可以嵌套多深)。
我已经编写了一个 Map-Reduce 作业,并且正在为 Reducer 在输出中生成的文件生成自定义名称。所以只需要知道文件名的最大大小和目录结构的最大深度,这样我就可以确保在我的代码中我不会超过最大可能的大小。
提前致谢。
【问题讨论】:
我有一个关于 hdfs 中文件名的最大大小和 hdfs 中文件路径的最大大小的问题(文件结构可以嵌套多深)。
我已经编写了一个 Map-Reduce 作业,并且正在为 Reducer 在输出中生成的文件生成自定义名称。所以只需要知道文件名的最大大小和目录结构的最大深度,这样我就可以确保在我的代码中我不会超过最大可能的大小。
提前致谢。
【问题讨论】:
这取决于操作系统下的文件系统。
示例:对于 ext FS(目前在 Linux 上使用最多):
max filename length: 255 bytes
max path length: none
扩展名不是 FS 知道的,它有 255 个字节,包括扩展名(你可以有没有任何扩展名的文件名)。
【讨论】:
HDFS 文件名长度没有单一的通用限制。这取决于配置。
根据HDFS-6055,默认限制为255。
【讨论】: