Dataproc 如何仅在主节点上运行初始化操作脚本并跳过在工作节​​点上运行

Question

我有一个用例，我想在 dataproc 中利用 initialization-actions 来运行将安装必要项目的脚本。我在 dataproc 上使用了几个初始化操作脚本，它们运行良好，并且确实安装在主节点和工作节点上。 但在这里，我只想在主节点上运行它。

具体来说，我是安装在 yarn 主节点之上，这样它就会自动安装在其他节点（工作节点）上。

Dataproc 初始化操作中是否有任何标志会跳过工作节点上的安装？

Answer 1

初始化动作不能被跳过，但它们可以包含节点角色特定的逻辑：

ROLE=$(/usr/share/google/get_metadata_value attributes/dataproc-role)
if [[ "${ROLE}" == 'Master' ]]; then
  #... master specific actions ...
else
  #... worker specific actions ...
fi

查看doc了解更多详情。