CDH上安装R及RHadoop(rhdfs/rmr2/rhbase/RHive)"/>
Cloudera Hadoop CDH上安装R及RHadoop(rhdfs/rmr2/rhbase/RHive)
转自:.html
前言:RHadoop是由Revolution Analytics发起的一个开源项目,它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R packages,分别为支持用R来编写MapReduce应用的rmr、用于R语言访问HDFS的rhdfs以及用于R语言访问HBASE的rhbase。
一、系统及所需软件版本
服务器操作系统:CentOS 6.3
R语言版本:R-2.15.3 (先前使用过R-3的最新版,发现新版本存在各种不兼容的问题,因此选择了R-2的最新版)
下载地址:.15.3.tar.gz
Cloudera Hadoop CDH版本:4.4.0
JDK版本:1.6.0_31
使用Cloudera Manager 免费版的安装包cloudera-manager-installer.bin,即可完成CDH和JDK的安装,具体详见CDH的安装
下载地址:+Manager+Free+Edition+Download
rJava(是java可以调用R,可使用CRAN安装)版本:rJava_0.9-5
下载地址:.9-5.tar.gz
RHadoop版本,为官方最新版本,项目地址(),包含项目具体如下:
- rmr-2.2.2
- rhdfs-1.0.6
- rhbase-1.2.0
下载地址:
说明文档:
二、依赖安装(R语言包、rJava包)
在安装之前需要在集群各个主机上逐个安装R语言包、rJava包,然后再进行Rhadoop的安装。具体安装步骤如下:
1、安装R语言包
在编译R之前,需要通过yum安装以下几个程序:
# yum install gcc-gfortran
否则报”configure: error: No F77 compiler found”错误
# yum install gcc gcc-c++
否则报”configure: error: C++ preprocessor “/lib/cpp” fails sanity check”错误
# yum install readline-devel
否则报”–with-readline=yes (default) and headers/libs are not available”错误
# yum install libXt-devel
否则报”configure: error: –with-x=yes (default) and X11 headers/libs are not available”错误
然后下载源代码,编译
# wget .15.3.tar.gz
# tar -zxvf R-2.15.3.tar.gz
# cd R-2.15.3
# ./configure –prefix=/usr –disable-nls –enable-R-shlib/** (后面两个选项–disable-nls –enable-R-shlib是为RHive的安装座准备,如果不安装RHive可以省去)*/
# make
# make install
更多推荐
Cloudera Hadoop CDH上安装R及RHadoop(rhdfs/rmr2/rhbase/RHive)
发布评论