如何保持 Dataproc Yarn nm-local-dir 大小易于管理

Question

我正在 GCP Dataproc 集群上运行 spark 作业，该集群配置有 1 个主服务器、2 个主要工作器（4 个本地 SSD，每个用于 shuffling）和 N 个辅助工作器（没有任何 SSD）。

我的工作每天批量处理数据，因此我希望临时数据（洗牌、检查点等）在一天的过程中增长，并在第二天开始之前被清理。

但是，当我运行该作业几天（比如 15 到 20 天）时，它最终失败并出现关于没有足够的磁盘空间用于 yarn 的错误（我不记得确切的错误消息）。

Dataproc GCP 控制台显示此图表，您可以在该图表中看到 HDFS 容量单调减少，而其他指标显示与批处理启动/停止相关的循环上下。

我将自己登录到一名主要工作人员以调查 SSD 的使用情况，因为我记得错误消息提到了 /mnt/{1,2,3,4}，这是 SSD 的挂载点。

$ df -h
[...]
/dev/sdb        369G  178G  172G  51% /mnt/1
/dev/sdc        369G  178G  173G  51% /mnt/2
/dev/sdd        369G  179G  171G  52% /mnt/3
/dev/sde        369G  174G  176G  50% /mnt/4
[...]

而且磁盘使用率不断增加（在我写这篇文章之前它是 43%）。进一步挖掘将我带到以下目录：

$ pwd
/mnt/1/hadoop/yarn/nm-local-dir/application_1622441105718_0001

$ du -sh .
178G    .

$ ls
00  03  06  09  0c  0f  12  15  18  1b  1e  21  24  27  2a  2d  30  33  36  39  3c  3f
01  04  07  0a  0d  10  13  16  19  1c  1f  22  25  28  2b  2e  31  34  37  3a  3d
02  05  08  0b  0e  11  14  17  1a  1d  20  23  26  29  2c  2f  32  35  38  3b  3e

所有这些文件夹都包含名为shuffle_NN_NNNN_0.{index,data} 的文件。很多论文文件：目前有 38577 个。

我认为这些文件是临时数据，但为什么每批后没有删除它们？ 我可以在不中断工作的情况下手动删除它们吗（find . -type f -mmin -120 -delete 删除所有超过 120 分钟的文件（我的批次大约 60 分钟长））？ 有没有管理这些文件的好方法？

---

编辑

实际上，我测试过使用以下内容删除旧文件：

for I in $(seq 1 4); do
( cd /mnt/${I}/hadoop/yarn/nm-local-dir/application_* && sudo find . -type f ! -newerat 2021-05-31T12:00:00 -delete )
done

我的工作仍在运行，似乎没有注意到任何事情，但我将磁盘使用率降低到 16%（而不是 54%）。这是手动解决方案，我仍在寻找更好的解决方案。

---

编辑 2

在@Ben Sidhom 的answer 之后更加精确。

我在批处理模式下使用 Spark。 “名义”用例是每天早上处理最后一天的数据。因此，每天 D，我启动一个 Spark 作业，读取 D-1 天的数据，对其进行转换并保存结果数据集。这个过程大约需要 1 个小时，在这种情况下，我没有发现任何数据泄漏。

但是，有时，我们需要进行一些追赶。例如，我实施了一个新的转换作业，需要在前一年的每一天应用它（以填充一些历史数据）。在这种情况下，我没有启动 365 个单独的 spark 作业，而是启动 1 个，它将每天按顺序处理。现在，工作时间更长了，并且发生了数据泄漏。大约 15 小时后（因此在处理 15 天的数据后），作业失败，因为设备上没有剩余空间。

禁用 EFM 似乎不是一个好的解决方案，因为实际上，正是在这种长时间运行的作业上，它带来了最大的价值，避免了因抢占式节点丢失而导致作业失败。

所以目前，我将坚持手动解决方案。 请注意，删除命令应在所有主节点上执行。

---

编辑 3

再次编辑以展示我的“生产级”解决方案。

创建集群后。通过 ssh 连接到您的每个主要工作人员，然后启动 screen 并运行一个无限循环，每 600 秒删除旧文件（在下面的示例中超过 120 分钟）：

$ screen -RD
<new screen created>

$ while true; do
date --iso-8601=seconds
for I in $(seq 1 4); do
( cd /mnt/${I}/hadoop/yarn/nm-local-dir/application_* && sudo find . -type f -amin +120 -delete )
done
df -h | grep /mnt/
sleep 600
done

当此命令运行时，将自己从屏幕上分离出来 (Ctrl+A D)。您可以使用htop 检查您的命令是否仍在运行。

就是这样。

Answer 1

存在一个已知问题，即此中间 shuffle 数据可能会泄露。在此期间可能的解决方法是：

• 您手动删除这些暂存文件的解决方案。
• 暂时禁用 EFM。在这种情况下，暂存文件由 YARN 直接管理，不依赖 Spark 进行清理。

您能否说明您使用的是什么模式的 Spark？这是一个重复运行的批处理作业，还是一个带有小批量的长时间运行的流式作业？如果是后者，Spark 清理钩子可能只在作业结束时发出，这可以解释泄漏。

更新：自July 20, 2021 release以来，泄漏的随机播放数据问题已得到修复。