CDH离线安装

集群服务器命名

    HOSTNAME=hdp-master

SSH 免密登录设置

    生成私钥/公钥, 执行后在~/.ssh 目录下会生成2个文件id_rsa(私钥)和id_rsa.pub(公钥),

    将公钥追加到认证文件中

    为了安全可以将authorized_keys文件的权限设置成600

    修改以下值

    RSAAuthentication yes

    PubkeyAuthentication yes

    AuthorizedKeysFile      .ssh/authorized_keys

    保存退出文件, 重启服务

    重启后可以’ssh {本机IP}’ 验证, 同样的道理, 只要将生成的公钥copy到远程服务器追加到 authorized_keys文件中,

    重复以上步骤即可

关闭集群机器防火墙

    将值设置为disabled

时间同步服务

    设置时间同步的目标机器, 可以将内部的一台机器(A)设置为ntp服务器, ntp.conf同步网络时间,

    其它内部机器同步A的时间, 下面的是同步网络时间的配置

    server 202.120.2.101 prefer(prefer优先服务器)

    server 202.102.29.82

JDK安装  

    jdk安装的目录一定要注意, 否则即使设置了linux的环境变量, cloudera也照样无法找到, 因为cloudera不认系统的JAVA_HOME, 而是遍历自己的一套目录, 这是个大坑

    上面部分代码, 是出自cm-5.3.3/share/cmf/bin/cmf-server, 在安装jdk时, 注意选择对应上面目录就好了!

 

以上的环境每个集群节点都需要做, ssh免密登录只需要clouder server能登录其它集群节点即可

—————

在server服务器上安装MySQL

    Hive, monitor等服务需要连接数据库

    登录mysql, 设置好root密码, 并授权节点服务器登录

安装cloudera manager

    为每个节点机器创建用户

    将cloudera-manager的安装包解压到指定目录/home/hadoop

    该步骤是初始化cm的数据库, 只需要在server节点初始化, 查看该文件可获得参数的含义

    将cm-5.3.3目录复制到集群的其它节点, 并修改agent配置文件

    注意修改下面的配置

    server_host=hdp-cms  # server就是集群主节点, 具体是你设置的机器的名字

    parcel_dir=/home/hadoop/cloudera/parcels

准备CDH离线安装包

    创建/opt/cloudera/parcel-repo/目录 , 当然这个目录是可以指定为其它目录的, CM配置时选择那个目录即可

    将CDH离线包加压到该目录下,

    CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel

    CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1  # 该文件的内容可以在manifest.json中找到, parcelName是上面那个文件名的对应的hash值

    manifest.json

启动安装server和agent

        在主节点启动以上服务, 要确认一下是否启动成功, 如果有问题在log中查看具体的报错原因

        该命令在其它节点上执行, 错误请查看log

CM安装步骤

    跟着提示一步步走吧

 

Mac下的开发软件汇总(持续更新…)

数据库

Sequel Pro

Sequel Pro is a fast, easy-to-use Mac database management application for working with MySQL databases.

快速, 易于使用, 关键是免费

SSH工具

SSH Shell

    如果你用习惯了xshell, 那么在Mac下这款软件,会是一个不错的替代工具

 

FTP

File Zilla

Hosts管理

iHosts

多分组编辑, 切换方便, 可多分组同时生效, 也可单独生效, 免费版本最多可添加4个节点, 应该够用了

VPN

Tunnelblick

和在win下面用的openvpn一样的配置方法

Restful API 测试

Postman

基于chrome浏览器的扩展,Mac和Win一模一样

编程

PHP

–PhpStorm

Python

–PyCharm

CotEditor

可支持多语言高亮, 用来代理win下的notepad++ 了