Hadoop 集群 - “hadoop”用户 ssh 通信答案

【问题标题】：Hadoop Cluster - "hadoop" user ssh communicationHadoop 集群 - “hadoop”用户 ssh 通信
【发布时间】：2018-08-13 12:18:35
【问题描述】：

我正在 EC2 服务器上设置 Hadoop 2.7.3 集群 - 1 个 NameNode、1 个辅助 NameNode 和 2 个 DataNode。

Hadoop 核心使用 SSH 与从节点通信以启动从节点上的进程。

我们是否需要在所有节点上为 hadoop 用户使用相同的 SSH 密钥？
将 NameNode 复制或添加到从节点 SSH 凭据的最佳实践/理想方式是什么？

【问题讨论】：

标签： hadoop ssh hadoop2

【解决方案1】：

我们是否需要在所有节点上为 hadoop 用户提供相同的 SSH 密钥？

相同的公钥需要在所有节点上

将NameNode复制或添加到的最佳实践/理想方式是什么从节点 SSH 凭证？

Per documentation:

Namenode：无密码 SSH

名称节点和数据节点之间的无密码 SSH。让我们为此在名称节点上创建一个公私密钥对。

namenode> ssh-keygen

使用默认值 (/home/ubuntu/.ssh/id_rsa) 作为密钥位置和输入一个空密码。

Datanodes：设置公钥

公钥保存在/home/ubuntu/.ssh/id_rsa.pub。我们要将此文件从名称节点复制到每个数据节点并附加内容到每个数据节点上的 /home/ubuntu/.ssh/authorized_keys。

datanode1> cat id_rsa.pub >> ~/.ssh/authorized_keys
datanode2> cat id_rsa.pub >> ~/.ssh/authorized_keys
datanode3> cat id_rsa.pub >> ~/.ssh/authorized_keys

Namenode：设置 SSH 配置

SSH 使用位于 ~/.ssh/config 的配置文件进行各种参数。如下图所示进行设置。再次，替换每个节点的 HostName 参数的公共 DNS（例如，替换使用用于 NameNode 的 EC2 公共 DNS）。

Host nnode
  HostName <nnode>
  User ubuntu
  IdentityFile ~/.ssh/id_rsa

Host dnode1
  HostName <dnode1>
  User ubuntu
  IdentityFile ~/.ssh/id_rsa

Host dnode2
  HostName <dnode2>
  User ubuntu
  IdentityFile ~/.ssh/id_rsa

Host dnode3
  HostName <dnode3>
  User ubuntu
  IdentityFile ~/.ssh/id_rsa

此时，验证无密码操作在每个节点上都有效如下（第一次，你会得到一个警告，主机是未知以及是否要连接到它。键入是并按回车键。这一步只需要一次）：

namenode> ssh nnode
namenode> ssh dnode1
namenode> ssh dnode2
namenode> ssh dnode3

【讨论】：

感谢佩特罗！我遵循了上述所有步骤，但是当我尝试从 NN SSH 到任何 DN 时，我收到以下错误：权限被拒绝（公钥）。我检查了 .ssh 文件夹下所有文件的权限是否正确。任何想法，这可能是什么问题？
确保 .ssh 文件夹权限也正确
正确权限示例：chmod 700 /home/myuser/.sshchmod 644 /home/myuser/.ssh/authorized_keys
谢谢！这些步骤在公共 EC2 AMI 中运行良好，但不适用于我公司构建的自定义 AMI，我正在检查此 AMI 的 SSH 配置。