Systemd Hdfs 服务 [hadoop] - 启动答案

【问题标题】：Systemd Hdfs Service [hadoop] - startupSystemd Hdfs 服务 [hadoop] - 启动
【发布时间】：2021-09-16 20:11:26
【问题描述】：

我创建了一个服务来启动和停止与我的 spark 集群关联的 hdfs。
服务：

[Unit]
Description=Hdfs service
[Service]
Type=simple
WorkingDirectory=/home/hduser
ExecStart=/opt/hadoop-2.6.4/sbin/start-service-hdfs.sh
ExecStop=/opt/hadoop-2.6.4/sbin/stop-service-hdfs.sh
[Install]
WantedBy=multi-user.target

问题是当我启动服务时，它会在启动后立即启动和停止！ :) 我认为问题在于服务的类型，我真的不知道该选择什么类型...

谢谢。
最好的问候

【问题讨论】：

你的日志是怎么说的？ journalctl 和 hdfs 的日志（不知道你放哪里了）
安装时是否格式化了namenode

标签： hadoop hdfs systemd

【解决方案1】：

您的配置中存在一些问题，这就是它无法正常工作的原因。

我在hadoop 用户下运行hadoop 2.7.3, hive 2.1.1, ubuntu 16.04

HADOOP_HOME 是/home/hadoop/envs/dwh/hadoop/

[Unit]
Description=Hadoop DFS namenode and datanode
After=syslog.target network.target remote-fs.target nss-lookup.target network-online.target
Requires=network-online.target

[Service]
User=hadoop
Group=hadoop
Type=forking
ExecStart=/home/hadoop/envs/dwh/hadoop/sbin/start-dfs.sh
ExecStop=/home/hadoop/envs/dwh/hadoop/sbin/stop-dfs.sh
WorkingDirectory=/home/hadoop/envs/dwh
Environment=JAVA_HOME=/usr/lib/jvm/java-8-oracle
Environment=HADOOP_HOME=/home/hadoop/envs/dwh/hadoop
TimeoutStartSec=2min
Restart=on-failure
PIDFile=/tmp/hadoop-hadoop-namenode.pid

[Install]
WantedBy=multi-user.target

清单：

用户和用户组已设置
服务类型为fork
pid 文件已设置，这是start-dfs.sh 创建的实际 pid
环境变量正确

【讨论】：

【解决方案2】：

另一种可停止的 oneshot 服务，它完全包含 hdfs 和 yarn

[Unit]
Description=Hadoop DFS namenode and datanode & yarn service
After=syslog.target network-online.target

[Service]
User=hadoop
Group=hadoop
Type=oneshot
ExecStartPre=/home/hadoop/hadoop-2.10.1/sbin/start-dfs.sh
ExecStart=/home/hadoop/hadoop-2.10.1/sbin/start-yarn.sh
ExecStop=/home/hadoop/hadoop-2.10.1/sbin/stop-dfs.sh
ExecStopPost=/home/hadoop/hadoop-2.10.1/sbin/stop-yarn.sh
WorkingDirectory=/home/hadoop
RemainAfterExit=yes

[Install]
WantedBy=multi-user.target

【讨论】：