CDH安装手册

Posted by Dayong Chan on 2019-11-03
Words 1.6k and Reading Time 6 Minutes
Viewed Times

一、搭建本地仓库

1.1 安装Web服务器

1.安装Apache

1
yum install httpd

2.添加支持文件的类型

1
sed -i '/AddType application\/x-compress .Z/a\    AddType application/x-gzip .gz .tgz .parcel' /etc/httpd/conf/httpd.conf

3.启动服务

1
2
systemctl start httpd
systemctl enable httpd

4.创建本地MySQL仓库的文件夹

1
mkdir -p /var/www/html/mysql

5.下载MySQL的驱动文件
1
wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.46/mysql-connector-java-5.1.46.jar -P /var/www/html/mysql

6.创建本地Cloudera仓库的文件夹

1
mkdir -p /var/www/html

7.下载Cloudera的文件(这一步的时间比较久，一般都是几个到十几个小时)
1
2
3
4
5
6
wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cm6/6.3.0/redhat7/ -P /var/www/html
wget https://archive.cloudera.com/cm6/6.3.0/allkeys.asc -P /var/www/html/cm6/6.3.0/

wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cdh6/6.3.0/redhat7/ -P /var/www/html
wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cdh6/6.3.0/parcels/ -P /var/www/html
wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/gplextras6/6.3.0/parcels/ -P /var/www/html

8.对本地仓库目录进行授权
1
2
3
chmod -R ugo+rX /var/www/html/cm6
chmod -R ugo+rX /var/www/html/cdh6
chmod -R ugo+rX /var/www/html/gplextras6

1.2使用方式：

添加Cloudera Manager的本地仓库

1
2
3
4
5
6
7
echo "
[cloudera-cm]
name=Cloudera Manager 6.3.0
baseurl=https://repo.car-house.net/cm6/6.3.0/redhat7/yum/
gpgcheck=1
enabled=1
" > /etc/yum.repos.d/cloudera-cm.repo

添加Cloudera CDH的本地仓库
1
2
3
4
5
6
7
echo "
[cloudera-cdh]
name=Cloudera CDH, Version 6.3.0
baseurl=https://repo.car-house.net/cdh6/6.3.0/redhat7/yum
gpgcheck=1
enabled=1
" > /etc/yum.repos.d/cloudera-cdh.repo

清除和更新缓存
1
2
yum clean all
yum makecache

二、安装CM+CDH

为了更方便安装，我把部分的命令都写到脚本里面了，下载完之前记得先看脚本里面的提示，点这里下载：

apache-repo-setup.sh
nginx-repo-setup.sh
mysql-setup.sh
db_init.sql
cloudera-setup.sh
manager-install.sh

2.1 安装本地仓库

选择一种Web服务器来进行安装，这里提供了Nginx和Apache两种的安装方式，请按需选择，一般情况建议是Apache比较简单点；脚本上默认是使用repo.car-house.net作为本地仓库的域名，请改成自己实际的域名

安装Apache

1
2
chmod u+x apache-repo-setup.sh
./apache-repo-setup.sh

安装Nginx

1
2
chmod u+x nginx-repo-setup.sh
./nginx-repo-setup.sh

2.2 安装数据库

把mysql-setup.sh和db_init.sql上传到所有需要安装的机器上，记得提前修改好db_init.sql上的密码

1
2
chmod u+x mysql-setup.sh
./mysql-setup.sh

2.3 服务器的基础配置

把cloudera-setup.sh上传到所有需要安装的机器上

1
2
chmod u+x cloudera-setup.sh
./cloudera-setup.sh

2.4 安装Cloudera管理系统

把manager-install.sh上传到所有需要安装的机器上

1
2
chmod u+x manager-install.sh
./manager-install.sh

进入欢迎页面

file

系统协议

file

选择要安装的版本

file

进入集群安装的欢迎页面

file

配置要安装的主机

file

选择存储库

在”Cloudera Manager Agent”下面选择自定义，并输入下面的地址

1
https://repo.car-house.net/cm6/6.3.0

file

配置Parcel的地址

在”CDH and other software”下面选择”使用Parcel（建议）”，然后点击”更多选项”来配置我们已经下载好的地址

1
https://repo.car-house.net/cdh6/6.3.0/parcels/

file
file

JDK安装选项

因为我们已经安装过了，所以这里不需要选中
file

配置SSH登录

这里我们选中使用dev-master这个主机的私钥来进行SSH登录，也可以使用密码的方式，但是使用密码方式的前提是所有主机的账号密码都是一样的
file

安装客户端

file

安装客户端完成

file

在各主机上安装Parcel

file

开始检查主机的配置

file

检查出来主机的配置问题

file

选择要安装的服务

这里选择的是最基础的服务
file

定义服务器的角色

一般需要安装的都会默认配置好，如果不需要特殊处理的话就不需要调整了
file

数据库设置

这里请按照db_init.sql文件上面已经创建好的进行填写，要注意的是默认的数据库主机的地址可能是不对的，先确认下对不对
file

安装完成

file

进入首页

file

三、可能出现的问题

3.1 检查出来有问题

如果出现下面的问题的话可以先忽略，后面安装后了再进行逐一修复即可

1
2
3
4
5
6
7
Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响： 
 查看详细信息
已启用透明大页面压缩，可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。以下主机将受到影响: 
 查看详细信息
已满足 CDH 5 Hue Python 版本依赖关系。
Starting with CDH 6, PostgreSQL-backed Hue requires the Psycopg2 version to be at least 2.5.4, see the documentation for more information. This warning can be ignored if hosts will not run CDH 6, or will not run Hue with PostgreSQL, or is not RHEL 6 compatible. The following hosts have an incompatible Psycopg2 version of '2.5.1': 
 查看详细信息

修复的方式请查考cloudera-setup.sh

3.2 在添加Kafka服务的时候，有两项是需要填写的，输入Kafka Broker所在的主机即可，如下面

1
dev-node3:9092,dev-node4:9092,dev-node5:9092

3.3 安装Zookeeper出错

在安装Zookeeper的时候出现下面的错误信息

1
Error found before invoking supervisord: 'getpwnam(): name not found: zookeeper'

解决方式：

  1. 检查是否有zookeeper的账号，没有的话就添加
    1
    useradd -d /var/lib/zookeeper -s /sbin/nologin zookeeper
  2. 可能cloudera-manager-agent的安装有问题，卸载了重新安装后再试试

3.4 提示发布收集有问题

1
Telemetry Publisher (dev-master): Altus Data Collection Account must be configured to enable collection for any Altus service.

解决办法：
重新部署和重启YARN的客户端

本站版权使用署名-非商业性使用-禁止演绎 4.0 国际，转载请保留原文链接及作者。

FEATURED TAGS
FRIENDS