【数据库开发】DataX开发环境的安装部署

数据库开发】DataX开发环境的安装部署"/>

【数据库开发】DataX开发环境的安装部署

文章目录

• 1、简介
• • 1.1 DataX简介
  • 1.2 DataX功能
  • 1.3 支持的数据通道
• 2、DataX安装配置
• • 2.1 DataX
  • 2.2 Java
  • 2.3 Python
  • 2.4 测试
• 3、DataX Web安装配置
• • 3.1 mysql
  • 3.2 DataX Web
  • • 3.2.1 简介
    • 3.2.2 架构图
    • 3.2.3 依赖环境
    • 3.2.4 安装
• 结语

1、简介

DataX是阿里云DataWorks数据集成的开源版本。下载即可用，支持linux和windows，只需要短短几步骤就可以完成数据的传输。

官网地址：

1.1 DataX简介

DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。

1.2 DataX功能

DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。

• Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。
• Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
• Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。

1.3 支持的数据通道

DataX目前支持数据如下：

类型	数据源	Reader(读)	Writer(写)	文档
RDBMS 关系型数据库	MySQL	√	√	读 、写
	Oracle	√	√	读 、写
	OceanBase	√	√	读 、写
	SQLServer	√	√	读 、写
	PostgreSQL	√	√	读 、写
	DRDS	√	√	读 、写
	Kingbase	√	√	读 、写
	通用RDBMS(支持所有关系型数据库)	√	√	读 、写
阿里云数仓数据存储	ODPS	√	√	读 、写
	ADB		√	写
	ADS		√	写
	OSS	√	√	读 、写
	OCS		√	写
	Hologres		√	写
	AnalyticDB For PostgreSQL		√	写
阿里云中间件	datahub	√	√	读 、写
	SLS	√	√	读 、写
图数据库	阿里云 GDB	√	√	读 、写
	Neo4j		√	写
NoSQL数据存储	OTS	√	√	读 、写
	Hbase0.94	√	√	读 、写
	Hbase1.1	√	√	读 、写
	Phoenix4.x	√	√	读 、写
	Phoenix5.x	√	√	读 、写
	MongoDB	√	√	读 、写
	Cassandra	√	√	读 、写
数仓数据存储	StarRocks	√	√	读 、写
	ApacheDoris		√	写
	ClickHouse	√	√	读 、写
	Databend		√	写
	Hive	√	√	读 、写
	kudu		√	写
	selectdb		√	写
无结构化数据存储	TxtFile	√	√	读 、写
	FTP	√	√	读 、写
	HDFS	√	√	读 、写
	Elasticsearch		√	写
时间序列数据库	OpenTSDB	√		读
	TSDB	√	√	读 、写
	TDengine	√	√	读 、写

2、DataX安装配置

.md

2.1 DataX

• 下载DataX二进制安装包

# wget .tar.gz
wget .tar.gz

解压如下：

tar -zxvf datax.tar.gz

查看文件夹/home/tomcat如下：

查看文件夹/home/tomcat/datax/bin如下：

查看文件夹/home/tomcat/datax/job如下：

2.2 Java

输入命令检查java是否已安装。

java -version

说明java没有安装。
安装java环境，输入如下代码如下：

apt-get install openjdk-11-jre-headless openjdk-11-jdk-headless

2.3 Python

输入命令检查python是否已安装。

python -v

python3 -v

2.4 测试

输入DataX的测试命令如下：

python3 datax.py ../job/job.json

命令行结果输出：

初步测试成功。

3、DataX Web安装配置

3.1 mysql

下载mysql数据库的安装包：

mkdir mysql
cd mysql
wget .7.31-1ubuntu18.04_amd64.deb-bundle.tar

解压mysql数据库的安装包：

tar xvf mysql-server_5.7.31-1ubuntu18.04_amd64.deb-bundle.tar

依次安装如下文件：

 libmysqlclient20_5.7.31-1ubuntu18.04_amd64.deblibmysqlclient-dev_5.7.31-1ubuntu18.04_amd64.deblibmysqld-dev_5.7.31-1ubuntu18.04_amd64.debmysql-client_5.7.31-1ubuntu18.04_amd64.debmysql-common_5.7.31-1ubuntu18.04_amd64.debmysql-community-client_5.7.31-1ubuntu18.04_amd64.debmysql-community-server_5.7.31-1ubuntu18.04_amd64.debmysql-community-source_5.7.31-1ubuntu18.04_amd64.debmysql-server_5.7.31-1ubuntu18.04_amd64.deb#mysql-testsuite_5.7.31-1ubuntu18.04_amd64.deb#mysql-community-test_5.7.31-1ubuntu18.04_amd64.deb

比如命令如下：

sudo apt-get install ./mysql-server_5.7.31-1ubuntu18.04_amd64.deb

测试是否安装成功如下：

mysql -V

安装完成后查看mysql服务：

netstat -tap | grep mysql

修改 root 密码和 host：

mysql
use mysql
update user set host = '%' where user = 'root' 
SET PASSWORD FOR 'root'@'%' = PASSWORD('XXXXXXXX');
FLUSH PRIVILEGES;
select user,host from user;
FLUSH PRIVILEGES;

查看mysql数据库情况：

show databases;

use dataweb;
show tables;

3.2 DataX Web

3.2.1 简介

DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。

3.2.2 架构图

3.2.3 依赖环境

• Language: Java 8（jdk版本建议1.8.201以上）
• Python2.7(支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-web/datax-python3下)
• Environment: MacOS, Windows,Linux
• Database: Mysql5.7

3.2.4 安装

.md

提取码：cpsk

• 1）解压安装包
  在选定的安装目录，解压安装包

tar -zxvf datax-web-{VERSION}.tar.gz

• 2）执行一键安装脚本
  进入解压后的目录，找到bin目录下面的install.sh文件，如果选择交互式的安装，则直接执行

./bin/install.sh

• 3）数据库初始化
  如果你的服务上安装有mysql命令，在执行安装脚本的过程中则会出现以下提醒：

Scan out mysql command, so begin to initalize the database
Do you want to initalize database with sql: [{INSTALL_PATH}/bin/db/datax-web.sql]? (Y/N)y
Please input the db host(default: 127.0.0.1): 
Please input the db port(default: 3306): 
Please input the db username(default: root): 
Please input the db password(default: ): 
Please input the db name(default: exchangis)

• 4. 配置
     在项目目录下/modules/datax-execute/bin/env.properties 指定PYTHON_PATH的路径

vi ./modules/{module_name}/bin/env.properties### 执行datax的python脚本地址
PYTHON_PATH=### 保持和datax-admin服务的端口一致；默认是9527，如果没改datax-admin的端口，可以忽略
DATAX_ADMIN_PORT=

此文件中包括一些默认配置参数，例如：executor.port,json.path,data.path等，具体请查看文件。

• 5）启动服务
  一键启动所有服务

./bin/start-all.sh

一键取消所有服务

./bin/stop-all.sh

汇总命令如下：

./bin/start-all.sh # 启动
./bin/stop-all.sh # 停止# 启动后jps，可以看到admin和executor进程
jps

• 6）查看服务
  在Linux环境下使用JPS命令，查看是否出现DataXAdminApplication和DataXExecutorApplication进程，如果存在这表示项目运行成功；
  如果项目启动失败，请检查启动日志：modules/datax-admin/bin/console.out或者modules/datax-executor/bin/console.out；
  

• 7）运行
  部署完成后，在浏览器中输入 http://ip:port/index.html 就可以访问对应的主界面（ip为datax-admin部署所在服务器ip,port为为datax-admin 指定的运行端口）；

http://192.168.1.123:9527/index.html

输入用户名 admin 密码 123456 就可以直接访问系统；

结语

如果您觉得该方法或代码有一点点用处，可以给作者点个赞，或打赏杯咖啡；╮(￣▽￣)╭
如果您感觉方法或代码不咋地//(ㄒoㄒ)//，就在评论处留言，作者继续改进；o_O???
如果您需要相关功能的代码定制化开发，可以留言私信作者；(✿◡‿◡)
感谢各位大佬童鞋们的支持！( ´ ▽´ )ﾉ ( ´ ▽´)っ！！！