【发布时间】：2019-01-15 08:09:30
【问题描述】：
我安装了一个具有 15 个数据节点的 HDFS 集群。有时整个hdfs集群的写入性能很慢。
我如何找到最慢的数据节点，哪个节点会导致这个问题。
【问题讨论】：
-
hortonworks.com/blog/… 这可能会有所帮助
-
@Abhinav，我的 hdfs 版本是
2.6.0。
【发布时间】：2019-01-15 08:09:30
【问题描述】：
datanode 速度慢的最常见原因是磁盘损坏。磁盘超时错误 (EIO) 默认值范围为 30 到 90 秒，因此该磁盘上的任何活动都需要很长时间。
您可以通过查看 hdfs-site.xmls 中每个数据节点的 dfs.datanode.data.dir 并验证提到的每个目录是否实际工作来检查这一点。
例如：
- 在目录上运行
ls -
cd进入目录 - 在目录下创建文件
- 写入目录下的文件
- 读取目录下文件的内容
如果这些活动中的任何一个都不起作用或需要很长时间，那就是你的问题。
您还可以在每台主机上运行dmesg 并查找磁盘错误。
其他信息
- HDFS DataNode Scanners and Disk Checker Explained
- HDFS-7430 - 重写 BlockScanner 以使用 O(1) 内存并使用多个线程
- https://superuser.com/questions/171195/how-to-check-the-health-of-a-hard-drive
【讨论】：