quchunhui

==背景==

我目前在做的项目属于物联网场景,数据实时流处理之后已经存储到了时序数据库当中,

需要从时序数据库中,根据具体的业务特性来生成一些具体的业务数据(如报表数据),

这个部分的架构,在我们项目中目前还是一个盲点,需要解决掉它。

经朋友介绍,dolphinscheduler这个调度工具出现在了我的视野当中,进行了一次部署尝试。

 

==下载==

https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html

直接去官网下载就可以了,我这里下载的是1.3.3版本

 

==部署==

官网的部署文档非常的详细,基本上按照步骤直接操作就可以部署成功。

https://dolphinscheduler.apache.org/zh-cn/docs/1.3.3/user_doc/quick-start.html

需要注意的是,不要看错了文档,默认的是1.2.1版本的文档哦。 

 

==踩过的坑==

【小插曲1】

问题描述:

由于我验证的环境在阿里云ecs服务器当中,为了应对阿里云的安全检查,将zookeeper配置了acl权限验证。

结果在ds启动的时候,提示错误KeeperErrorCode = NoAuth,告诉我无法在zk中创建/dolphinscheduler路径,

 

解决办法:

1、进入zkCli客户端
sh /home/radmin/zookeeper-3.5.6/bin/zkCli.sh
2、获取auth用户
addauth digest zk_admin:RexelZkAdmin#982
3、手动创建路径
create /dolphinscheduler

 

【小插曲2】

问题描述:

执行了install.sh之后,发现3个节点当中,只有1个节点启动成功了,另外两个节点的jps进程中没有ds的进程。

 

问题原因:

是因为我太过于心急了,对另外两个节点没有创建ds的用户。按照官网提示的操作,创建用户即可。

# 创建用户需使用root登录,设置部署用户名,请自行修改,后面以dolphinscheduler为例
useradd dolphinscheduler;

# 设置用户密码,请自行修改,后面以dolphinscheduler123为例
echo "dolphinscheduler123" | passwd --stdin dolphinscheduler

# 配置sudo免密
echo \'dolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL\' >> /etc/sudoers
sed -i \'s/Defaults    requirett/#Defaults    requirett/g\' /etc/sudoers

 

 

【小插曲3】

问题描述:

web页面启动不起来

 

解决办法:

打开以下两个配置项,都使用默认值就可以。

文件:master.properties,配置项:master.listen.port=5678

文件:worker.properties,配置项:worker.listen.port: 1234

 

--END--

 

分类:

技术点:

相关文章: