ETL工具-Datax使用

datax工具介绍

datax是阿里开源的离线数据同步平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。开源发布在github上,详细安装步骤见github。
下载编译安装坑点
a、datax的环境要求:
ETL工具-Datax使用
b、下载源码自己编译:
$ git clone [email protected]:alibaba/DataX.git
maven编译:
$ cd 到放置的datax源码包位置
$ 执行命令:mvn -U clean package assembly:assembly -Dmaven.test.skip=true
3、编译报错:

ETL工具-Datax使用
造成这种原因可能是因为datax发布的源码代码中某些模块的代码由于不能下载造成,
解决方法:
可以把datax源码目录下的pom.xml文件里的配置改一下,找到图示的配置依赖,删掉后缀。
ETL工具-Datax使用
再次执行命令编译,如果还是报错,在pom.xml中有标签配置,可以把这个配置里面的自己需要的模块留下,不需要的模块删除。
ETL工具-Datax使用
只留下自己需要的模块,防止因为其他不需要的模块代码下载失败造成编译问题。
4、编译成功后
ETL工具-Datax使用
5、打包成功后的包的位置
ETL工具-Datax使用

相关文章: