CDH离线安装

集群服务器命名

    HOSTNAME=hdp-master

SSH 免密登录设置

    生成私钥/公钥, 执行后在~/.ssh 目录下会生成2个文件id_rsa(私钥)和id_rsa.pub(公钥),

    将公钥追加到认证文件中

    为了安全可以将authorized_keys文件的权限设置成600

    修改以下值

    RSAAuthentication yes

    PubkeyAuthentication yes

    AuthorizedKeysFile      .ssh/authorized_keys

    保存退出文件, 重启服务

    重启后可以’ssh {本机IP}’ 验证, 同样的道理, 只要将生成的公钥copy到远程服务器追加到 authorized_keys文件中,

    重复以上步骤即可

关闭集群机器防火墙

    将值设置为disabled

时间同步服务

    设置时间同步的目标机器, 可以将内部的一台机器(A)设置为ntp服务器, ntp.conf同步网络时间,

    其它内部机器同步A的时间, 下面的是同步网络时间的配置

    server 202.120.2.101 prefer(prefer优先服务器)

    server 202.102.29.82

JDK安装  

    jdk安装的目录一定要注意, 否则即使设置了linux的环境变量, cloudera也照样无法找到, 因为cloudera不认系统的JAVA_HOME, 而是遍历自己的一套目录, 这是个大坑

    上面部分代码, 是出自cm-5.3.3/share/cmf/bin/cmf-server, 在安装jdk时, 注意选择对应上面目录就好了!

 

以上的环境每个集群节点都需要做, ssh免密登录只需要clouder server能登录其它集群节点即可

—————

在server服务器上安装MySQL

    Hive, monitor等服务需要连接数据库

    登录mysql, 设置好root密码, 并授权节点服务器登录

安装cloudera manager

    为每个节点机器创建用户

    将cloudera-manager的安装包解压到指定目录/home/hadoop

    该步骤是初始化cm的数据库, 只需要在server节点初始化, 查看该文件可获得参数的含义

    将cm-5.3.3目录复制到集群的其它节点, 并修改agent配置文件

    注意修改下面的配置

    server_host=hdp-cms  # server就是集群主节点, 具体是你设置的机器的名字

    parcel_dir=/home/hadoop/cloudera/parcels

准备CDH离线安装包

    创建/opt/cloudera/parcel-repo/目录 , 当然这个目录是可以指定为其它目录的, CM配置时选择那个目录即可

    将CDH离线包加压到该目录下,

    CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel

    CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1  # 该文件的内容可以在manifest.json中找到, parcelName是上面那个文件名的对应的hash值

    manifest.json

启动安装server和agent

        在主节点启动以上服务, 要确认一下是否启动成功, 如果有问题在log中查看具体的报错原因

        该命令在其它节点上执行, 错误请查看log

CM安装步骤

    跟着提示一步步走吧