hadoop+Kylin服务器搭建教程

服务器搭建教程"/>

hadoop+Kylin服务器搭建教程

公司准备使用Kylin进行数据分析，因此需要进行hadopp+Kylin服务器的搭建和使用。 本教程基于：

• Hadoop 2.9.0
• HBase 1.1.13
• Hive 1.2.2
• Kylin 2.2.0

讲解hadoop服务器的搭建流程

1.创建hadoop用户

//添加hadoop用户
sudo useradd -m hadoop -s /bin/bash
//设置用户密码
sudo passwd hadoop
//添加管理员权限
sudo adduser hadoop sudo复制代码

切换至hadopp用户

2.搭建hadoop服务器

hadoop的搭建可参考hadoop

更新apt源

sudo apt-get update
复制代码

安装SSH、配置SSH无密码登陆

//安装SSH service
sudo apt-get install openssh-server//登陆本机
ssh localhost
复制代码

此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。 !

但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。

首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

exit                                   # 退出刚才的 ssh localhost
cd ~/.ssh/                             # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa                      # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权
复制代码

安装JAVA环境

此处安装jdk的Java环境\

• 下载jdk压缩包

  下载地址：JDK下载地址

• 解压压缩包并移动

sudo tar -zxf jdk-8u161-linux-x64.tar.gz #解压sudo mv jdk1.8.0_161/ /usr/local/java #移动压缩包
复制代码

• 配置环境变量

$sudo vim ~/.bashrc//在.bashrc文件中添加环境变量
export JAVA_HOME=/usr/local/java
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH//刷新变量文件
source ~/.bashrcecho $JAVA_HOME     # 检验变量值
java -version
$JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样复制代码

• 安装 Hadoop 2
  下载稳点版本的hadoop,hadoop下载地址

sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz    #解压
sudo mv hadoop-2.9.0 /usr/local/hadoop  # 将文件夹名改为hadoop
cd /usr/local/
sudo chown -R hadoop ./hadoop               # 修改文件权限
# 添加环境变量
# set hadoop enviroment
export HADOOP_HOME=/usr/local/hadoop
export PATH=${HADOOP_HOME}/bin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
复制代码

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

cd /usr/local/hadoop
./bin/hadoop version
复制代码

• 配置Hadoop伪分布模式

  Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。修改配置文件 core-site.xml (通过 gedit 编辑会比较方便: gedit ./etc/hadoop/core-site.xml)，将当中的 修改为下面配置：

  <configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://IP:9000</value></property></configuration>
复制代码

同样的，修改配置文件 hdfs-site.xml：

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>
</configuration>
复制代码

配置完成后，执行 NameNode 的格式化:

./bin/hdfs namenode -format
复制代码

成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。

接着开启 NameNode 和 DataNode 守护进程

  ./sbin/start-dfs.sh
复制代码

Hadoop安装完后，启动时报Error: JAVA_HOME is not set and could not be found. 解决办法：修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。应当使用绝对路径。

export JAVA_HOME=$JAVA_HOME             //错误，不能这么改export JAVA_HOME=/usr/java/jdk1.6.0_45  //正确，应该这么改
复制代码

启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”（如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试）。如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。

成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

• 启动YARN

YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用性、高扩展性，YARN 的更多介绍在此不展开，有兴趣的可查阅相关资料。

上述通过 ./sbin/start-dfs.sh 启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。

首先修改配置文件 mapred-site.xml，这边需要先进行重命名：

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
gedit ./etc/hadoop/mapred-site.xml//添加配置信息
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>//接着修改配置文件 yarn-site.xml：
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>复制代码

增加以上信息在 yarn-site.xml to enable log aggregation.

yarn是用管理job的调度，然后这个地方需要手动的去开启才可以看到。否则使用sqoop导入数据将会报错。

<property>    <name>yarn.log-aggregation-enable</name>    <value>true</value>    
</property>
复制代码

然后就可以启动 YARN 了（需要先执行过 ./sbin/start-dfs.sh）：

./sbin/start-yarn.sh      # 启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器，才能在Web中查看任务运行情况
http://localhost:8088/cluster
复制代码

开启后通过 jps 查看，可以看到多了 NodeManager 和 ResourceManager 两个后台进程，如下图所示。

3.配置hive，参考Hive

安装mysql

1. sudo apt-get install mysql-server2. sudo apt-get install mysql-client3. sudo apt-get install libmysqlclient-dev4.安装完成之后可以使用如下命令来检查是否安装成功：
sudo netstat -tap | grep mysql5.登陆mysql数据库可以通过如下命令：
mysql -u root -p复制代码

下载Hive

wget .1.1/apache-hive-2.1.1-bin.tar.gz tar -zxvf apache-hive-2.1.1-bin.tar.gz sudo mv apache-hive-2.1.1-bin /usr/local/hive
复制代码

配置环境变量(同上)

export HIVE_HOME=/usr/local/hive
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HCAT_HOME=$HIVE_HOME/hcatalog
export HIVE_CONF=$HIVE_HOME/conf
export PATH=${HIVE_HOME}/bin:$PATH
复制代码

在hive的目录下，新建warehouse、tmp、log文件夹。 修改配置文件hive/conf

cp hive-env.sh.template hive-env.sh 
cp hive-log4j2.properties.template hive-log4j2.properties 
cp hive-default.xml.template hive-site.xml
复制代码

修改hive-env.sh，查找一下字段并去掉前面的注释#，加上相应的路径

export HADOOP_HEAPSIZE=1024
HADOOP_HOME=/usr/local/hadoop
export HIVE_CONF_DIR=/usr/local/hive/conf复制代码

这儿采用mysql作为hive的元数据库 在自己的mysql中为hive新建一个用户 mysql数据库创建Hive用户

mysql>CREATE USER 'hive' IDENTIFIED BY 'hive';
mysql>GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION;
mysql>flush privileges;
复制代码

修改hive-site.xml文件，添加相应的路径和mysql数据库，用户名，密码

<property><name>hive.metastore.warehouse.dir</name><value>/usr/local/hive/warehouse</value><description>location of default database for the warehouse</description></property><property><name>hive.querylog.location</name><value>/usr/local/hive/log</value><description>Location of Hive run time structured log file</description></property><property><name>hive.downloaded.resources.dir</name><value>/usr/local/hive/tmp</value><description>Temporary local directory for added resources in the remote file system.</description></property><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hive</value><description>JDBC connect string for a JDBC metastore.To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.</description></property><property>
<name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value><description>Driver class name for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value><description>Username to use against metastore database</description></property>
<property><name>javax.jdo.option.ConnectionPassword</name><value>hive</value><description>password to use against metastore database</description></property>
复制代码

• 下载mysql-connector-java\

  地址：dev.mysql.com/downloads/c…
  解压得到mysql-connector-java-5.1.40.jar,拷贝到hive的lib目录下。

• 登陆MySQL创建hive数据库

mysql> create database hive;
mysql> show databases
复制代码

• 在进入hive目录下的bin目录，运行命令：./schematool -initSchema -dbType mysql 现在hive已经安装成功，输入hive命令，即可运行hive

如果此时出现这个错误Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D

解决方案如下：

在hive 配置文件hive-site.xml 中找到${system:java.io.tmpdir}，并把此都替换成具体目录，如/usr/local/hive/iotmp

Kylin用 HCatalog 读取Hive表的，而HCatalog用 property hive.metastore.uris 创建HiveMetaStoreClient 得到元信息。因此，我们还需修改hive-site.xml：

<property><name>hive.metastore.uris</name><value>thrift://localhost:9083</value><description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>
复制代码

开启metastore 服务：

nohup hive --service metastore -p 9083 &
复制代码

4.Hbase部署

• 下载文档版本的Hbanse,下载地址
• 解压并配置相关环境变量

tar -zxvf hbase-1.2.6-bin.tar.gz
sudo mv hbase-1.2.6 /usr/local/hbase
sudo vim ~/.bashrc
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HIVE_HOME/bin:$HBASE_HOME/bin
复制代码

伪分布部署：

伪分布模式需要用到hadoop文件系统 ，所以配置会比单机模式麻烦很多 并且需要版本匹配；

1. 修改conf/hbase-env.sh

# 添加java环境变量和hbase_classpath(指向hadoop的配置文件目录)
export JAVA_HOME=/usr/local/java#通过hadoop的配置文件找到hadoop集群
export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop#使用HBASE自带的zookeeper管理集群
export HBASE_MANAGES_ZK=true
复制代码

2. 编辑hbase-site.xml

<configuration><property><name>hbase.rootdir</name><value>hdfs://hadoopIp:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.zookeeper.property.dataDir</name><value>/usr/local/hbase/zookeeper</value></property><property><name>hbase.zookeeper.quorum</name><value>hadoopIp</value></property>
</configuration>
复制代码

进入bin目录以root权限开启HBase服务：

# 注意在开启hbase服务之前，一定要运行一下sudo chown -R hadoop ./hbase
./start-hbase.sh
#访问http://172.60.20.12:16010/master-status 地址即可查看Hbase的配置信息
复制代码

5.部署Kylin

• 软件下载地址
• sudo tar -zxf apache-kylin-2.1.0-bin-hbase1x.tar.gz sudo mv apache-kylin-2.1.0-bin-hbase1x /usr/local/kylin

配置~/.bashrc文件，添加如下环境变量，并生效。

export KYLIN_HOME=/usr/local/kylinexport hive_dependency=$HIVE_HOME/conf:$HIVE_HOME/lib/*:$HCAT_HOME/share/hcatalog/hive-hcatalog-core-1.2.2.jarPATH=$PATH:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/binPATH=$PATH:$HBASE_HOME/bin:$FLUME_HOME/bin:$HIVE_HOME/bin:$HCAT_HOME/binPATH=$PATH:$CATALINA_HOME/bin:$KYLIN_HOME/binexport PATH复制代码

修改kylin.properties配置文件

#修改kylin.server.cluster-servers=192.168.1.201:7070#添加配置kylin.job.jar=/usr/local/apps/kylin/lib/kylin-job-2.1.0.jarkylin.coprocessor.local.jar=/usr/local/apps/kylin/lib/kylin-coprocessor-2.1.0.jarkylin.job.yarn.app.rest.check.status.url=http://192.168.1.202:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
复制代码

注意：kylin 本身有bug，安装成功之后会关联不到hive/lib 需要修改kylin.sh 文件。 查找HBASE_CLASSPATH_PREFIX行，并修改为

export HBASE_CLASSPATH_PREFIX=${KYLIN_HOME}/conf:${KYLIN_HOME}/lib/*:${KYLIN_HOME}/ext/*:${hive_dependency}:${HBASE_CLASSPATH_PREFIX}
复制代码

设置完毕之后即可通过kylin.sh start命令启动项目，访问http://XXX.XX.XX.XX:7070/kylin 进入Web管理界面。

注意： 当打开Kylin主页显示无法加载Kylin.config时，请关闭kylin中自带的tomcat的ssl认证和gzip功能.

文章参考： Apache Kylin 部署之不完全指南

CDH环境下kylin的安装教程

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

个人博客地址：aikiller.github.io/

转载于: