CDH6.2.0部署-亲自操作验证可行

软件发布|下载排行|最新软件

当前位置:首页IT学院IT技术

CDH6.2.0部署-亲自操作验证可行

执手仗剑天涯   2020-04-20 我要评论

CDH6.2.0部署

PDF文档:https://files.cnblogs.com/fileshttps://img.qb5200.com/download-x/duxingren/CDH6.2-pdf.zip

郑重声明:并非拿来主义。亲手实践并花费一天时间整理文档。再三感谢此链接。

补充了再参考文献中遇到的问题并重点圈画出来。值得一读。谢谢各位。

参考文献:https://blog.csdn.net/github_39577257/articlehttps://img.qb5200.com/download-x/details/92471365

参考文献:https://blog.csdn.net/github_39577257/articlehttps://img.qb5200.com/download-x/details/92471365

参考文献:https://blog.csdn.net/github_39577257/articlehttps://img.qb5200.com/download-x/details/92471365

常见的 JDK 有 Oracle JDK、和 Open JDK,而常用到的 Open JDK有 Linux yum 版的 Open JDK、Zulu JDK、GraalVM CE JDK等。安装 CDH 环境的 JDK 时还是建议先使用官方提供的下载资源列表里的 oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm。如果公司有要求必须使用Open JDK,可以先安装下载包中的Oracle JDK 安装,等CDH安装完毕,需要的组件服务安装配置完成之后,再升级为自己需公司要求的 Open JDK,且强烈建议这样做。

对于包中个组件的版本可查看 CDH 6.2.0 Packaging,或者镜像库中查看 noarch | x86_64 。注意:从cdh6.0开始,Hadoop的版本升级到了3.0

CDH 6.2.0 Packaging:

https:/https://img.qb5200.com/download-x/docs.cloudera.comhttps://img.qb5200.com/download-x/documentation/enterprise/6/release-notes/topics/rg_cdh_62_packaging.html

Noarch:

https://archive.cloudera.com/cdh6/6.2.0/redhat7/yum/RPMS/noarch/

x86_64:

https://archive.cloudera.com/cdh6/6.2.0/redhat7/yum/RPMS/x86_64/

Cloudera Enterprise 6发行指南

https:/https://img.qb5200.com/download-x/docs.cloudera.comhttps://img.qb5200.com/download-x/documentation/enterprise/6/release-notes/topics/rg_requirements_supported_versions.html#cm_cdh_compatibility

 

1.环境准备

1.1 环境清除或重装

假设旧环境已经安装过CDH或HDP或者其它,需要清除这些,清除相对麻烦些,删除的时候需谨慎。但整体可以这样快速清除

 

1 获取root用户

2 卸除通过rmp安装的服务:

rpm -qa

# 或者指定某些服务

rpm -qa 'cloudera-manager-*'

# 移除服务

rpm -e 上面命令查到的名字 --nodeps

# 清除yum 缓存

sudo yum clean all

3 查看进程

ps -aux > ps.txt,通过第一列USER 和 最后一列COMMAND 确定是否为清除的进程,如果是根据第二列PID kill掉:kill -9 pid

4 查看系统的用户信息:cat /etc/passwd

5 删除多余的用户:userdel 用户名

6 搜索这个用户相关的的文件,并删除:

 find / -name 用户名*

 # 删除查到的文件

 rm -rf 文件

7 在删除时有时可能文件被占用,可以先通过 lsof 命令找到被占用的进程,关闭后再删除。

8 虽然查不到进程被占用,可能文件被挂载了,卸除后再删除:

umount cm-5.16.1/run/cloudera-scm-agent/process,

然后再

rm -rf cm-5.16.1/。

当卸除命令执行后还是不能删除时,可以多运行几次,再尝试删除文件。

1.2 Apache HTTP 服务安装

因为有些服务器对访问外网有严格限制时,可以配置一个 HTTP服务,将下载的资源上传上去,方便后面的安装。

Step 1:先查Apache http服务状态

如果状态可查到,只需要修改配置文件(查看Step 3),重启服务就行。如果状态查询失败,需要先安装 Apache HTTP 服务(接着Step 2)。

sudo systemctl start httpd

Step 2:安装 Apache http服

 yum -y install httpd

Step 3:修改 Apache http 配置

配置如下内容。最后保存退出。可以查看到配置的文档路径为:/var/www/html。其他的配置项可以默认,也可以根据情况修改。

vim /etc/httpd/conf/httpd.conf

# 大概在 119 行

DocumentRoot "/var/www/html"

# 大概在 131 行,<Directory "/var/www/html"> </Directory>标签内对索引目录样式设置

# 最多显示100个字符,utf-8字符集,开启目录浏览修饰,目录优先排序

IndexOptions NameWidth=100 Charset=UTF-8 FancyIndexing FoldersFirst

配置完后,记得重启服务。

Step 4:创建资源路径

sudo mkdir -p /var/www/html/cloudera-repos

1.3 Host 配置

将集群的Host的ip和域名配置到每台机器的/etc/hosts。

注意 hostname必须是一个FQDN(全限定域名),例如myhost-1.example.com,否则后面转到页面时在启动Agent时有个验证会无法通过↘。

# cdh1

sudo hostnamectl set-hostname cdh1.example.com

# cdh2

sudo hostnamectl set-hostname cdh2.example.com

# cdh3

sudo hostnamectl set-hostname cdh3.example.com

#配置 /etc/hosts

192.168.104.103 cdh1.example.com cdh1

192.168.104.104 cdh2.example.com cdh2

192.168.104.105 cdh3.example.com cdh3

# 配置 /etc/sysconfig/network

# cdh1

HOSTNAME=cdh1.example.com

# cdh2

HOSTNAME=cdh2.example.com

# cdh3

HOSTNAME=cdh3.example.com

1.4 NTP

NTP服务在集群中是非常重要的服务,它是为了保证集群中的每个节点的时间在同一个频道上的服务。

规划如下,当可以访问时间同步服务,例如可以直接和亚洲NTP服务进行同步。例如不能访问时,可以将cdh1.example.com配置为NTP服务端。集群内节点和这个服务进行时间同步。

ip    用途

asia.pool.ntp.org   亚洲NTP时间服务地址

cdh1.example.com      ntpd服务,以本地时间为准

cdh2.example.com      ntpd客户端。与ntpd服务同步时间

cdh3.example.com      ntpd客户端。与ntpd服务同步时间

我的做法是直接yum安装一下ntp服务。因为都可以访问外网。

step1 ntpd service

# NTP服务,如果没有先安装

systemctl status ntpd.service

step2 与系统时间一起同步

非常重要 硬件时间与系统时间一起同步。

修改配置文件vim /etc/sysconfig/ntpd。末尾新增代码SYNC_HWCLOCK=yes

# Command line options for ntpd

#OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"

OPTIONS="-g"

SYNC_HWCLOCK=yes

step3 添加NTP服务列表

编辑vim /etc/ntp/step-tickers

# List of NTP servers used by the ntpdate service.

#0.centos.pool.ntp.org

cdh1.example.com

step4 NTP服务端ntp.conf

修改ntp配置文件vim /etc/ntp.conf

driftfile /var/lib/ntphttps://img.qb5200.com/download-x/drift

logfile /var/log/ntp.log

pidfile   /var/run/ntpd.pid

leapfile  /etc/ntp.leapseconds

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

#允许任何IP的客户端进行时间同步,但不允许修改NTP服务端参数,default类似于0.0.0.0

restrict default kod nomodify notrap nopeer noquery

restrict -6 default kod nomodify notrap nopeer noquery

#restrict 10.135.3.58 nomodify notrap nopeer noquery

#允许通过本地回环接口进行所有访问

restrict 127.0.0.1

restrict  -6 ::1

# 允许内网其他机器同步时间。网关和子网掩码。注意有些集群的网关可能比价特殊,可以用下面的命令查看

# 查看网关信息:/etc/sysconfig/network-scripts/ifcfg-网卡名;route -n、ip route show 

restrict 192.168.33.2 mask 255.255.255.0 nomodify notrap

# 允许上层时间服务器主动修改本机时间

#server asia.pool.ntp.org minpoll 4 maxpoll 4 prefer

# 外部时间服务器不可用时,以本地时间作为时间服务

server  127.127.1.0     # local clock

fudge   127.127.1.0 stratum 10

step5 NTP客户端ntp.conf

vim /etc/ntp.conf

driftfile /var/lib/ntphttps://img.qb5200.com/download-x/drift

logfile /var/log/ntp.log

pidfile   /var/run/ntpd.pid

leapfile  /etc/ntp.leapseconds

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

restrict default kod nomodify notrap nopeer noquery

restrict -6 default kod nomodify notrap nopeer noquery

restrict 127.0.0.1

restrict -6 ::1

server 192.168.33.3 iburst

step6 NTP服务重启和同步

#重启服务

systemctl restart ntpd.service

#开机自启

chkconfig ntpd on

ntpq -p

ntpdate -u  cdh1.example.com

 

step7 NTP服务状态查看

如果显示如下则同步是正常的状态(状态显示 PLL,NANO):

[root@cdh1 ~]# ntpstat

synchronised to NTP server (84.16.73.33) at stratum 2

   time correct to within 127 ms

   polling server every 1024 s

[root@cdh1 ~]# ntptime

ntp_gettime() returns code 0 (OK)

  time e2478ca0.ddc19360  Mon, Apr 20 2020 10:51:12.866, (.866235678),

  maximum error 456301 us, estimated error 250 us, TAI offset 0

ntp_adjtime() returns code 0 (OK)

  modes 0x0 (),

  offset -87.932 us, frequency 14.716 ppm, interval 1 s,

  maximum error 456301 us, estimated error 250 us,

  status 0x2001 (PLL,NANO),

  time constant 10, precision 0.001 us, tolerance 500 ppm,

[root@cdh1 ~]# timedatectl

      Local time: Mon 2020-04-20 10:51:21 CST

  Universal time: Mon 2020-04-20 02:51:21 UTC

        RTC time: Mon 2020-04-20 02:51:21

       Time zone: Asia/Shanghai (CST, +0800)

     NTP enabled: yes

NTP synchronized: yes

 RTC in local TZ: no

      DST active: n/a14

1.5 MySQL

Download MySQL

https:/https://img.qb5200.com/download-x/dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.27-el7-x86_64.tar.gz

step1 配置环境变量

# 配置Mysql环境变量

export PATH=$PATH:/usr/local/mysql/bin

step2 创建用户和组

#①建立一个mysql的组

groupadd mysql

#②建立mysql用户,并且把用户放到mysql组

useradd -r -g mysql mysql

#③还可以给mysql用户设置一个密码(mysql)。回车设置mysql用户的密码

passwd mysql

#④修改/usr/local/mysql 所属的组和用户

chown -R mysql:mysql /usr/local/mysql/

step3 设置MySQL配置文件

编辑/etc/my.cnf文件:vim /etc/my.cnf。设置为如下:

 

[mysqld]

basedir = /usr/local/mysql

datadir = /usr/local/mysqlhttps://img.qb5200.com/download-x/data

port = 3306

socket=/var/lib/mysql/mysql.sock

character-set-server=utf8

 

transaction-isolation = READ-COMMITTED

# Disabling symbolic-links is recommended to prevent assorted security risks;

# to do so, uncomment this line:

symbolic-links = 0

server_id=1

max_connections = 550

log_bin=/var/lib/mysql/mysql_binary_log

binlog_format = mixed

read_buffer_size = 2M

read_rnd_buffer_size = 16M

sort_buffer_size = 8M

join_buffer_size = 8M

 

# InnoDB settings

innodb_file_per_table = 1

innodb_flush_log_at_trx_commit  = 2

innodb_log_buffer_size = 64M

innodb_buffer_pool_size = 4G

innodb_thread_concurrency = 8

innodb_flush_method = O_DIRECT

innodb_log_file_size = 512M

[client]

default-character-set=utf8

socket=/var/lib/mysql/mysql.sock 

[mysql]

default-character-set=utf8

socket=/var/lib/mysql/mysql.sock

[mysqld_safe]

log-error=/var/log/mysqld.log

pid-file=/var/run/mysqld/mysqld.pid

sql_mode=STRICT_ALL_TABLES

step4 配置解压和设置

# 解压到 /usr/local/ 下

tar -zxf mysql-5.7.27-el7-x86_64.tar.gz -C /usr/local/

# 重命名

mv /usr/local/mysql-5.7.27-el7-x86_64/ /usr/local/mysql

# 实现mysqld -install这样开机自动执行效果

cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql

vim /etc/init.d/mysql

# 添加如下配置

basedir=/usr/local/mysql

datadir=/usr/local/mysqlhttps://img.qb5200.com/download-x/data

#创建存放socket文件的目录

mkdir -p /var/lib/mysql

chown mysql:mysql /var/lib/mysql

#添加服务mysql

chkconfig --add mysql

# 设置mysql服务为自动

chkconfig mysql on

step5 开始安装

#初始化mysql。注意记录下临时密码: ?w=HuL-yV05q(每个都不一样的)

/usr/local/mysql/bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysqlhttps://img.qb5200.com/download-x/data

#给数据库加密

/usr/local/mysql/bin/mysql_ssl_rsa_setup --datadir=/usr/local/mysqlhttps://img.qb5200.com/download-x/data

# 启动mysql服务。过段时间,当不再刷屏时,按Ctrl + C退出后台进程

/usr/local/mysql/bin/mysqld_safe --user=mysql &

# 重启MySQL服务

/etc/init.d/mysql restart

#查看mysql进程

ps -ef|grep mysql

step6 登陆MySQL,完成后续设置

#第一次登陆mysql数据库,输入刚才的那个临时密码

/usr/local/mysql/bin/mysql -uroot -p

输入前面一步生成的临时密码,进入MySQL的命令行,其中密码密码可以访问☌随机密码生成☌网站生成安全强度较高的随机密码,生产环境一般是有强度要求。

--必须先修改密码

mysql> set password=password('V&0XkVpHZwkCEdY$');

--在mysql中添加一个远程访问的用户

mysql> use mysql;

mysql> select host,user from user;

-- 添加一个远程访问用户scm,并设置其密码为 scm

mysql> grant all privileges on *.* to 'scm'@'%' identified by 'scm' with grant option;

--刷新配置

mysql> flush privileges;

1.6 剩下

Java-jdk环境:sudo yum install oracle-j2sdk1.8(特别重要,否则自制的jdk会让你绝望)

防火墙:

sed -i "s#SELINUX=enforcing#SELINUX=disabled#g" /etc/selinux/config

setenforce 0

systemctl stop firewalld

systemctl disable firewalld

1.7 其他

Cloudera Manager和Cloudera Navigator使用的端口

 

https:/https://img.qb5200.com/download-x/docs.cloudera.comhttps://img.qb5200.com/download-x/documentation/enterprise/6/6.2/topics/cm_ig_ports_cm.html

2.下载资源

上传到Apache HTTP 服务器上的目录:/var/www/html/cloudera-repos。

2.1 简版下载

其中将下载资源上传到搭建的 Apache HTTP 服务节点,如果文件夹不存在,需要手动创建。记得文件路径有足够的权限:

 

# 注意文件的权限

chmod 555 -R /var/www/html/cloudera-repos

2.1.1 下载 parcel 包

https://archive.cloudera.com/cdh6/6.2.0/parcels

CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel

CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1

manifest.json

将下载的包上传到 /var/www/html/cloudera-repos/cdh6/6.2.0/parcels

cdh 6.3.0的parcel 包访问:https://archive.cloudera.com/cdh6/6.3.0/parcels/

2.1.2 下载需要的rpm包

https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/

cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm

cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm

cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm

cloudera-manager-server-db-2-6.2.0-968826.el7.x86_64.rpm

enterprise-debuginfo-6.2.0-968826.el7.x86_64.rpm

oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

 

上传到 /var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum/RPMS/x86_64

CDH 6.3.0:https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/

 

2.1.3 获取 cloudera-manager 其他资源

2.1.3.1 获取cloudera-manager.repo

将下面下载的包上传到 /var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum

https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/

cloudera-manager.repo

RPM-GPG-KEY-cloudera

 

2.1.3.2 获取allkeys.asc

将下面下载的包上传到 /var/www/html/cloudera-repos/cm6/6.2.0

https://archive.cloudera.com/cm6/6.2.0/

 

mv allkeys.asc /var/www/html/cloudera-repos/cm6/6.2.0

2.1.3.3 初始化repodata

进入到Apache HTTP服务器的:

/var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum/目录下,然后执行

# 如果没有安装 createrepo,请 yum 安装 createrepo

yum -y install createrepo

cd /var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum/

yum repolist

createrepo .

2.1.4 下载数据库驱动

mysql-connector-java-5.1.46-bin.jar,记得务必将其名字改为mysql-connector-java.jar

 

#下载连接:

https:/https://img.qb5200.com/download-x/dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz

# 解压

tar zxvf mysql-connector-java-5.1.46.tar.gz

# 重命名mysql-connector-java-5.1.46-bin.jar为mysql-connector-java.jar,并放到/usr/share/java/下(CDH脚本限制,必须这么规范不然无法初始化数据库)

mv mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

# 同时发送到其它节点

scp /usr/share/java/mysql-connector-java.jar root@cdh2:/usr/share/java/

scp /usr/share/java/mysql-connector-java.jar root@cdh3:/usr/share/java/

2.2 完整版下载(二选一)

不做整理

2.3 设置安装节点的 cloudera-manager yum信息

2.3.1 下载

wget http://192.168.104.103/cloudera-repos/cm6/6.2.0/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/

# 导入存储库签名GPG密钥:

sudo rpm --import http://192.168.104.103/cloudera-repos/cm6/6.2.0/redhat7/yum/RPM-GPG-KEY-cloudera

2.3.2 修改

修改 cloudera-manager.repo。执行命令:

vim /etc/yum.repos.d/cloudera-manager.repo

修改为如下(注意,原先的https一定要改为http)

[cloudera-manager]

name=Cloudera Manager 6.2.0

baseurl=http://192.168.104.103/cloudera-repos/cm6/6.2.0/redhat7/yum/

gpgkey=http://192.168.104.103/cloudera-repos/cm6/6.2.0/redhat7/yum/RPM-GPG-KEY-cloudera

gpgcheck=1

enabled=1

autorefresh=0

type=rpm-md

2.3.3 更新yum

#清除 yum 缓存

sudo yum clean all

#更新yum

sudo yum update(此步操作甚至,会导致内核升级,开机无法进入系统)

可以yum makecache

3.安装

3.1 安装 Cloudera Manager

在 Server 端 执行

yum install -y cloudera-manager-daemons

yum install -y fcloudera-manager-agent

yum install -y cloudera-manager-server

在 Agent 端 执行

yum install -y cloudera-manager-agent

yum install -y cloudera-manager-daemons

在安装完后,程序会自动在server节点上创建一个如下文件或文件夹:

 ls /etc/cloudera-scm-agent/config.ini

 ls /etc/cloudera-scm-server/

 ls /opt/cloudera

为了后面安装的更快速,将下载的CDH包裹方到这里(仅Server端执行):

cd /opt/cloudera/parcel-repo/

wget http://192.168.104.103/cloudera-repos/cdh6/6.2.0/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel

wget http://192.168.104.103/cloudera-repos/cdh6/6.2.0/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1

wget http://192.168.104.103/cloudera-repos/cdh6/6.2.0/parcels/manifest.json

 

# 在manifest.json中找到对应版本的密钥(大概在755行),复制到*.sha文件中

# 一般CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1文件的内容和parcel密钥是一致的,只需重命名即可.

copy CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1 CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha

#修改属主属组。

chown cloudera-scm.cloudera-scm /opt/cloudera/parcel-repo/*

 

修改agent配置文件,将Cloudera Manager Agent 配置为指向 Cloudera Manager Serve。

这里主要是配置 Agent节点的 config.ini 文件。

vim /etc/cloudera-scm-agent/config.ini

#配置如下项

# Hostname of the CM server. 运行Cloudera Manager Server的主机的名称

server_host=cdh1.example.com

# Port that the CM server is listening on. 运行Cloudera Manager Server的主机上的端口

server_port=7182

#1位启用为代理使用 TLS 加密,如果前面没有设置,一定不要开启TLS

#use_tls=1

3.2 设置 Cloudera Manager 数据库

Cloudera Manager Server包含一个可以数据库prepare的脚本,主要是使用这个脚本完成对数据库的相关配置进行初始化,这里不对元数据库中的表进行创建。

3.2.1 创建 Cloudera 软件对应的数据库:

# 登陆 Mysql后执行如下命令

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

# 顺便把其他的数据库也创建

CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

3.2.2 初始化数据库

这一步会在/etc/cloudera-scm-serverhttps://img.qb5200.com/download-x/db.properties更新配置

请确认/usr/share/java是否有mysql-connector-java.jar

 

[root@cdh1 ~]#  sudo /opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost  mysql scm scm scm

 

参数说明:

options 指定操作,如果数据库不再本地请用-h或--host 指定mysql的host,不指定默认为localhost

databaseType 指定为mysql,也可以是其它类型的数据,例如:oracle等

databaseName 指定为scm数据库,这里使用 scm库

databaseUser 指定mysql用户名,这里使用 scm

password 指定mysql其用户名的密码,这里使用scm

这一步如果我们用的是自己配置的JDK可能会报如下的错误:

解决办法,打开执行的脚本/opt/cloudera/cm/schema/scm_prepare_database.sh 在108行local JAVA8_HOME_CANDIDATES=()方法中将自己配置的JAVA_HOME填入:

  local JAVA8_HOME_CANDIDATES=(

     '/usr/java/jdk1.8.0_181-cloudera'

    '/usr/java/jdk1.8'

    '/usr/java/jre1.8'

    '/usr/lib/jvm/j2sdk1.8-oracle'

    '/usr/lib/jvm/j2sdk1.8-oracle/jre'

    '/usr/lib/jvm/java-8-oracle'

  )

3.3 安装CDH和其他软件

只需要在 Cloudera Manager Server 端启动 server即可,Agent 在进入Web页面后徐步骤中会自动帮我们启动。

 

3.3.1 启动Cloudera Manager Server

sudo systemctl start cloudera-scm-server

sudo systemctl status cloudera-scm-server

sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

# 当您看到此日志条目时,Cloudera Manager管理控制台已准备就绪:

# INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

 

问题解决:

修改文件权限问题,修改时区。如果问题不能解决,请更换为Oracle JDK。

时区问题可以在/opt/cloudera/cm/bin/cm-server文件中,大概第40行添加CMF_OPTS="$CMF_OPTS -Duser.timezone=Asia/Shanghai"

 

如果提示如下错误,请删除/var/lib/cloudera-scm-agent/cm_guid的guid。

[15/Jun/2019 13:54:55 +0000] 24821 MainThread agent        ERROR    Error, CM server guid updated, expected 198b7045-53ce-458a-9c0a-052d0aba8a22, received ea04f769-95c8-471f-8860-3943bfc8ea7b

3.3.2 转到 Web 浏览器

在Web浏览器数据 http://192.168.104.103:7180

登录Cloudera Manager Admin Console,默认凭证为

Username: admin

Password: admin

登陆用户名后,显示如下页面,根据提示进行安装即可:欢迎 -> Accept License -> Select Edition。

这一步选择安装的版本,不同版本支持的主要功能已列出,第一列为Cloudera免费的快速体验版;第二列为Cloudera为企业级试用版(免费试用60天);第三列是功能和服务最全的Cloudera企业版,是需要认证且收费的。Cloudera Express 和 Cloudera Enterprise 中的可用功能的完整列表。

 

选择第一列,快速体验版服务,完全免费,功能和服务对于需求不是很特殊和复杂的试用基本没什么问题,如果后期功能不够,或满足不了需求,想使用Cloudera的企业版也不用担心,在Cloudera Manager页面,点击页面头部的管理菜单,在下拉列表中单机许可证,可在页面上选择:试用Cloudera Enterprise 60天 、升级至Cloudera Enterprise ,更详细的升级说明可查看 从Cloudera Express升级到Cloudera Enterprise ➹。

选择第二列,可以直接免费体验Cloudera Enterprise全部功能60天,且这个每次只能试用一次,关于许可证到期或试用许可证的说明可访问 Managing Licenses ➹。

选择第三列,使用Cloudera企业版,需要获取许可证,要获得Cloudera Enterprise许可证,请填写此表单 或致电866-843-7207。关于许可证的详细说明可以访问Managing Licenses。其功能和价格可参考 功能和价格 页面。

 

4.集群安装

Cluster Basics:给集群设置一个名字。

* Specify Hosts:输入集群的主机名,多个换行添加,例如:

cdh1.example.com

cdh2.example.com

cdh3.example.com

以单节点方式安装,Web页面到达集群设置选择安装组件服务时,另起一个页面,进入Cloudera Manager,选择 主机 -> 所有主机 -> Add Hosts ,根据提示依次将其它节点添加到这个集群名字下,中间输入每个机器的root的密码完成验证即可。

 

 

 

使用向导设置群集

 

 

 

审核更改默认即可直接下一步

 

 

 

 

至此完成。后续使用文档有时间更新。

参考文献:https://blog.csdn.net/github_39577257/articlehttps://img.qb5200.com/download-x/details/92471365

 

 

 

 

 

 

 

 

 

 

 

 

Copyright 2022 版权所有 软件发布 访问手机版

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 联系我们