CDH大数据平台搭建终极版

harrylyx 2020-01-27 我要评论

经过无数次的失败，终于将CDH安装到两台普通的笔记本电脑上，主要失败原因有以下几点：

不熟悉安装过程，官方给出的安装方法有三种，所以都尝试了一遍，浪费了大量时间，所以有时候方法多不见得是一件好事。
安装设备太差，有时会因为占用内存或者CPU占用过高而死机。
安装网络环境太差，导致传输过程可能出现超时失败现象。
安装时间过久，导致出错后重新再来时间付出太多。

以下讲的方法不是最优的方法，但是是我们最后的方法，可供参考。

1.搭建环境

两台笔记本电脑A和B，自带内存分别为12G和8G，安装VMware 12。
A开一个虚拟机，2*CPU，8G内存，使用桥接网卡模式，安装CentOS6.5，充当主机Master。
B开两个虚拟机，1*CPU，2G内存，使用桥接网卡模式，安装CentOS6.5，充当分机Slave1，Slave2。
两台电脑通过网线连接到学校内网，使用内网网络环境搭建，三台虚拟机的root密码必须一致。

2.安装前的准备

首先先下载以下安装包

cloudera-manager-el6-cm5.8.0_x86_64.tar.gz (Cloudera Manager 安装包，el6代表使用的CentOs6.x，cm-5.8.0代表使用的Cloudera Manager版本为5.8.0)
CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel (CDH离线资源包)
CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1
manifest.json
cm5.8.0-centos6.tar.gz (里面有一些必要的环境)
mysql-connector-java-5.1.6-bin.jar (JDBC)

下载路径分别为

http://archive.cloudera.com/cm5/cm/5/

http://archive.cloudera.com/cdh5/parcels/5.8.0/

http://archive.cloudera.com/cm5/repo-as-tarball/5.8.0/

注意：不要图方便少下什么，或者少安装什么，尤其是JDK一定要安装官方的，要不会导致后面Spark配制出错，这个地方我们起码失败了5、6次，一定要全部下下来，重来的代价会更高

3.安装前的配置

首先进入root权限：输入su，再输入密码即可

3.1.配置主机名

分别修改各节点/etc/sysconfic/network文件，设置主机名为Master,Slave1,Slave2。

找到HOSTNAME可进行修改,名字以方便识别主节点和分节点为标准。

修改完后执行service network restart重启服务。

使用hostname进行验证。

如果没有生效，那就重启虚拟机。

3.2.关闭防火墙

执行命令：service iptables stop

再执行：chkconfig iptables off

使用chkconfig --list|grep iptables检查是否全关

如果为iptables 0:off 1:off 2:off 3:off 4:off 5:off 6:off则说明关完了

3.3.绑定ip与主机名

先查看ifconfig三台虚拟机的ip。

分别在三台虚拟机上打开并更改hosts

vi /etc/hosts

输入如下

192.168.30.21  Master
192.168.30.22  Slave1
192.168.30.23  Slave2

配置完后，3台虚拟机互ping ip和主机名，验证是否配置成功。

3.4.配置ssh免密码登录（默认已安装ssh）

在Master中使用ssh-keygen -t rsa生成秘钥，一路回车.

cd ~/.ssh找到id_rsa.pub，将其写入到authorized_keys中.

输入cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys.

输入ssh Master看看是否已经免秘钥，第一次可能要输密码和输一个yes.

成功后同理在其他两台机子上输入ssh-keygen -t rsa生成秘钥。

将生成的秘钥如果是图形化的界面直接粘贴到Master的authorized_keys中，再由Master使用scp分发给其他两台主机。

如果不是图形化，那就用putty，xshell等等登录虚拟机粘贴，如果没有，那就用scp传。

使用scp将authorized_keys传给slave1和slave2，输入scp ~/.ssh/authorized_keys root@slave1:~/.ssh把slave1改为slave2及传给2。

互相使用ssh hostname登录对方看看是否免秘钥，不行检查authorized_keys是否正确。

3.5.关闭SELINUX

setenforce 0 #临时生效
或
修改/etc/selinux/config 文件的 SELINUX=disabled #重启生效

3.6.安装Mysql（master节点）

首先使用rpm -qa|grep -i mysql检查是否安装了Mysql，如果有

使用rpm -e 包名删除Mysql包。

然后下载MySQL包

http:/https://img.qb5200.com/download-x/dev.mysql.comhttps://img.qb5200.com/download-x/downloads/mysql/#downloads

我使用的是MySQL-5.5.49-1.linux2.6.x86_64.rpm-bundle.tar这个文件，解压它得到

MySQL-client-5.5.49-1.linux2.6.x86_64.rpm
MySQL-devel-5.5.49-1.linux2.6.x86_64.rpm
MySQL-embedded-5.5.49-1.linux2.6.x86_64.rpm
MySQL-server-5.5.49-1.linux2.6.x86_64.rpm
MySQL-shared-5.5.49-1.linux2.6.x86_64.rpm
MySQL-shared-compat-5.5.49-1.linux2.6.x86_64.rpm
MySQL-test-5.5.49-1.linux2.6.x86_64.rpm

使用rpm -ivh MySQL*全部安装，一个都不能少，要不可能会导致后面报错!

然后使用/usr/bin/mysql_secure_installation 改mysql密码。

输入mysql -u root -p进入mysql。

首先创建用户

CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';
CREATE USER 'hue'@'%' IDENTIFIED BY 'hue';
CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie';

在创建数据库

CREATE DATABASE hive;
CREATE DATABASE hue;
CREATE DATABASE oozie;

最后赋予各个用户权限

GRANT ALL ON hive.* TO 'hive'@'%' 
GRANT ALL ON hue.* TO 'hue'@'%' 
GRANT ALL ON oozie.* TO 'oozie'@'%'

3.7.安装JDK

解压cm5.8.0-centos6.tar.gz后打开里面的rpm文件夹，里面应该有一个JDK 1.6和一个 Oracle JDK ，两个都要安装上。然后输入java -version应该可以看到

java version "1.6.0_31"
Java(TM) SE Runtime Environment (build 1.6.0_31-b04)
Java HotSpot(TM) 64-Bit Server VM (build 20.6-b01, mixed mode)

3.8.配置NTP服务（所有节点）

安装NTP服务，使用yum install ntp安装

修改ntp配置vi /etc/ntp.conf

Master设置server 210.72.145.44 #这是中国国家授时中心的IP

Slave1~2设置server master

设置开机时自动运行时间服务
chkconfig ntpd on
启动或停止时间服务

service ntpd start
service ntpd stop
service ntpd restart

查看ntp服务状态watch ntpq -p

4.安装Cloudera Manager Server和Agent

4.1.创建cloudera-manager文件夹（1~7步在三个节点都要进行）

mkdir /opt/cloudera-manager

4.2.在master节点解压安装包至/opt/cloudera-manager默认目录

tar -zxvf cloudera-manager-el6-cm5.8.0x8664.tar.gz -C /opt/cloudera-manager

4.3.创建用户

useradd --system --home=/opt/cloudera-manager/cm-5.8.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

4.4.创建log文件夹

mkdir /var/log/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/log/cloudera-scm-server

4.5.修改agent指向的sever地址

进入到cd /opt/cloudera-manager/cm-5.8.0/etc/cloudera-scm-agent

使用vim config.ini

将server_host=localhost改为server_host=master

4.6.创建存放parcel的文件夹

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

4.7.创建run/cloudera-scm-agent文件夹

mkdir /opt/cloudera-manager/cm-5.8.0/run/cloudera-scm-agent

如果有则不用创建。

以下开始是在Master上进行!

4.8.为Cloudera Manager 5建立数据库

将mysql-connector-java-5.1.6-bin.jar文件放到/opt/cm-5.8.0/share/cmf/lib/中。

cp mysql-connector-java-5.1.6-bin.jar /opt/cloudera-manager/cm-5.8.0/share/cmf/lib/

4.9.在master节点初始化CM5的数据库

/opt/cloudera-manager/cm-5.8.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

4.10.准备Parcels，用以安装CDH5

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo需要手动创建）。

4.11.执行启动脚本

在master节点启动服务端：

/opt/cloudera-manager/cm-5.8.0/etc/init.d/cloudera-scm-server start

在所有节点启动Agent：

/opt/cloudera-manager/cm-5.8.0/etc/init.d/cloudera-scm-agent start

等待5分钟，分别使用

/opt/cloudera-manager/cm-5.8.0/etc/init.d/cloudera-scm-server status

/opt/cloudera-manager/cm-5.8.0/etc/init.d/cloudera-scm-agent status

检查server和agent状态。如果出错，比如死掉了之类的，去

/opt/cloudera-manager/cm-5.8.0/log里面查看日志，看看是哪里报错了

如果agent报错是以下这样

Traceback (most recent call last):
  File "/opt/cloudera-manager/cm-5.8.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/cmf-5.8.0-py2.6.egg/cmf/agent.py", line 2163, in connect_to_new_supervisor
    self.get_supervisor_process_info()
  File "/opt/cloudera-manager/cm-5.8.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/cmf-5.8.0-py2.6.egg/cmf/agent.py", line 2185, in get_supervisor_process_info
    self.identifier = self.supervisor_client.supervisor.getIdentification()
  File "/usr/lib64/python2.6/xmlrpclib.py", line 1199, in __call__
    return self.__send(self.__name, args)
  File "/usr/lib64/python2.6/xmlrpclib.py", line 1489, in __request
    verbose=self.__verbose
  File "/opt/cloudera-manager/cm-5.8.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/supervisor-3.0-py2.6.egg/supervisor/xmlrpc.py", line 470, in request
    '' )
ProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>

重启虚拟机即可解决，是因为有什么程序占用了那个端口。

5.配置CDH集群

PS:由于某些原因，安装的时候我的主机名也就是Master是叫yao5，不要在意

验证都正常工作后，就在浏览器打开http://master:7180进入CDH管理界面，由于CM Server的启动需要花点时间，这里可能要等待一会（我最久等了20分钟）才能访问，默认的用户名和密码均为admin。

5.1.为CDH群集安装指定主机

在为CDH群集安装指定主机这一步（忘截图了==|||），要能直接在当前管理的主机能看到三台机子，分别为Master,Slave1,Slave2.才说明安装正确了，如果搜不到，说明可能是你偷懒直接复制cm-5.8.0这个文件夹给其他主机了，因为在启动的时候会生成一个SSID，是这个机子唯一的，所以搜索的时候可能会出问题。