Knox 进程消耗 Dataproc 主节点中的所有资源答案

【问题标题】：Knox process consumes all resources in Dataproc master nodeKnox 进程消耗 Dataproc 主节点中的所有资源
【发布时间】：2021-07-06 23:54:50
【问题描述】：

我尝试打开存储在 GCS 中的笔记本。我使用 Jupyter 创建了一个 Dataproc 集群，并连接了 Jupyter Web 界面。

当我打开我的笔记本时，我收到一个错误（错误 504，没有更多信息）。

当我打开我的笔记本时，我检查了主节点，我看到有 'knox' 进程消耗了我的 cpu(%198) 和内存(%100) 资源。

我每周都会遇到这种情况 3-4 次。

有没有人遇到过同样的问题？

【问题讨论】：

【解决方案1】：

我通过使用 Jupyter 组件创建集群来重现您的问题，然后打开 Python 笔记本并多次运行 print('hello world')。然后我 ssh 进入主节点并持续监控 Knox 进程的内存使用情况。每次运行单元格时，Knox 进程的内存都会增加约 3M。

在/usr/lib/knox/bin/knox-env.sh 中设置export KNOX_GATEWAY_MEM_OPTS="-Xms512m -Xmx1024m" 然后sudo systemctl restart knox 可能会有所帮助，但这似乎不是问题的原因。

【讨论】：