安装Cloudera Manager（5.12.1）一定要细心，每一步走错都可能造成最终安装失败。
安装Cloudera Manager（5.12.1）一定要硬件资源充足。
本示例参考了众多网上资料（放在文末），消耗了1000根白发终于肝出了这篇文章。
安装包放在了文末，按需下载。

本次安装共分为四章，可自行查看。
一、安装cloudera manager
二、安装CDH和集群
三、常见的问题
四、卸载重装

步骤分解

        • 开始
        • 设置固定IP（all）
        • 关闭防火墙（all）
        • 关闭selinux（all）
        • 设置主机名（all）
        • 免密（all）
        • 时间工具ntp（all）
        • ntp同步（server）
        • ntp同步（agent）
        • 安装jdk1.8（all）
        • 安装mysql5.6（server）
        • 创建scm用户可库（server）
        • 安装java-mysql驱动（all）
        • 开始安装cloudera-manager及CDH@@@@@@@@@@@@@@@@@@@@@@@@@@
        • 解压cloudera-manager（all）
        • 创建系统用户cloudera-scm（all）
        • 创建模板目录，把parcel、sha、json放在此目录（server）
        • 创建安装目录（all）
        • 创建软连接（all）
        • 配置agent的server指向（all）
        • 使用CM脚本创建数据库。如果前面sql初始化了scm就不用这一步（server）
        • 修改db配置为scm（server）
        • 启动（很慢）
        • 访问
        • 查看启动日志

开始

共三台服务器，其中119作为server端，119、120、122作为agent端

ip主机名系统安装类型
192.x.x.119cdh119centos7.9server、agent
192.x.x.120cdh120centos7.9agent
192.x.x.122cdh122centos7.9agent

说明：（all）三个节点都要操作，（server）服务端节点操作，（agent）从节点操作

设置固定IP（all）
关闭防火墙（all）
systemctl status firewalld
systemctl stop firewalld
systemctl disable firewalld
关闭selinux（all）
vim /etc/sysconfig/selinux
SELINUX=enforcing 改为 SELINUX=disabled 
重启reboot
查看getenforce
设置主机名（all）
不同主机设置不同名，不要闭眼复制
hostnamectl set-hostname cdh119
vim /etc/sysconfig/network 设置HOSTNAME=cdh119
vim /etc/hosts 添加所有节点
192.x.x.119 cdh119
192.x.x.120 cdh120
192.x.x.122 cdh122
免密（all）

生成密钥，分发给其他节点

ssh-keygen -t rsa
ssh-copy-id cdh119（此命令第二步输入提示输入yes/no，请输入yes）
ssh-copy-id cdh120
ssh-copy-id cdh122
时间工具ntp（all）
cd /etc/yum.repos.d
把现有的repo文件全部放在一个备份的文件夹里，防止一会yum更新有失效的url
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum clean all
yum makecache fast
yum install ntp
ntp同步（server）
vim /etc/ntp.conf
注释掉所有的restrict开头的配置
取消下面这一行注释，将ip和掩码改为真实信息：
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap找到server 0.centos.pool.ntp.org iburst，并将所有server配置进行注释
添加下面两行内容
server 127.127.1.0
fudge 127.127.1.0 stratum 10
启动
systemctl restart ntpd
systemctl enable ntpd
查看状态
ntpq -p
ntp同步（agent）

当主节点reach状态到达17后，开始配置从节点

vim /etc/ntp.conf
注释所有restrict和server配置添加server的IP，保存
server 192.x.x.119执行手动同步
ntpdate 192.x.x.119启动
systemctl restart ntpd
systemctl enable ntpd（或者 systemctl enable ntpd.service）
安装jdk1.8（all）

选择Linux x64 rpm版本：我这里选择了jdk1.8.0_121
https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html

卸载openjdk
rpm -qa | grep openjdk
rpm -qa | grep openjdk |xargs rpm -e --nodeps
rpm -qa | grep java
rpm -qa | grep java |xargs rpm -e --nodeps安装oracle jdk
cd /mnt/storage
rpm -ivh jdk-8u121-linux-x64.rpm添加环境变量 （虽然rpm不需要配环境变量，但保险起见，最好加上）
vim /etc/profile
#java 1.8
export JAVA_HOME=/usr/java/jdk1.8.0_121 
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin保存后重载文件
source /etc/profile查看
java -version
echo $JAVA_HOME

如果tar版安装（一般装在/usr/local/java），后期安装CDH集群会找不到JDK报错，可设置软连接解决此问题

mkdir -p /usr/java/default（CDH寻找JDK的路径）
ln -s /usr/local/java/jdk1.8.0_231/* /usr/java/default/
安装mysql5.6（server）

最好是5.6和Cloudera Manager5.12比较匹配，我第一次装5.7，最后无论怎么配置Cloudera都连不上
这里我修改了mysql数据路径，你也可以不改

卸载mysql和mariadb 
rpm -qa|grep -i mysql |xargs rpm -e --nodeps
rpm -qa | grep -i mariadb |xargs rpm -e --nodeps
find / -name mysql
find / -name mariadb
找出来之后 rm -rf 删除安装mysql5.6
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum -y install mysql-server修改配置
vim /etc/my.cnf注释掉 symbolic-links=0#修改数据路径
datadir=/mnt/storage/mysql/data
#socket=/mnt/storage/mysql/mysql.sock（这个不要修改了，不然下面初始化找不到）
log-error=/mnt/storage/mysql/log/mysqld.log
pid-file=/mnt/storage/mysql/pid/mysqld.pid
#修改字符集
[client]
default-character-set=utf8
[mysqld]
character-set-server=utf8
collation-server=utf8_general_ci保存并授权
cd /mnt/storage/mysql
mkdir data log pid
sudo chown -R mysql:mysql /mnt/storage/mysql
sudo chmod -R 750 /mnt/storage/mysql启动
systemctl status mysqld
systemctl start mysqld
systemctl enable mysqld执行初始引导，我这里设置了密码123456，远程连接，删除测试库（不会使用自行查阅）
mysql_secure_installation设置完后root依然不能远程，手动登录设置（你也可以不设置）
mysql -uroot -p
>mysql:GRANT ALL PRIVILEGES ON *.* TO root@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
>mysql:FLUSH PRIVILEGES;此时查看root已经可以远程连接
use mysql;
SELECT User, Host FROM user;
创建scm用户可库（server）
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE USER 'scm'@'%' IDENTIFIED BY 'scm';
GRANT ALL PRIVILEGES ON scm.* TO 'scm'@'%';
FLUSH PRIVILEGES;
安装java-mysql驱动（all）

下载地址：https://downloads.mysql.com/archives/c-j/
拷贝到/usr/share/java/下并重命名
有的说是拷贝到clouder安装路径/cm-5.12.1/share/cmf/lib下，我先不用这个路径

cp mysql-connector-java-5.1.38.jar /usr/share/java/mysql-connector-java.jar
开始安装cloudera-manager及CDH@@@@@@@@@@@@@@@@@@@@@@@@@@
解压cloudera-manager（all）
cd /mnt/storage
mkdir cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz -C /mnt/storage/cloudera-manager
创建系统用户cloudera-scm（all）
useradd --system --home=/mnt/storage/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
创建模板目录，把parcel、sha、json放在此目录（server）
mkdir -p /mnt/storage/cloudera/parcel-repo
chown -R cloudera-scm:cloudera-scm /mnt/storage/cloudera/parcel-repo
创建安装目录（all）
mkdir -p /mnt/storage/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /mnt/storage/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /mnt/storage/cloudera-manager
创建软连接（all）

也可以安装好后在界面修改，我这里没有执行这一步

mkdir -p /opt/cloudera/parcel-repo
mkdir -p /opt/cloudera/parcels
rm -rf /opt/cloudera/parcel-repo
ln -s /mnt/storage/cloudera/parcel-repo /opt/cloudera/parcel-repo
rm -rf /opt/cloudera/parcels
ln -s /mnt/storage/cloudera/parcels /opt/cloudera/parcels
配置agent的server指向（all）
vim /mnt/storage/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini
将server_host修改为server的主机名（cdh119）
使用CM脚本创建数据库。如果前面sql初始化了scm就不用这一步（server）
cd /mnt/storage/cloudera-manager/cm-5.12.1/share/cmf/schema
./scm_prepare_database.sh mysql cm1 -hcdh119 -uroot -p123456 --scm-host cdh119 scm scm scm
修改db配置为scm（server）
cd /mnt/storage/cloudera-manager/cm-5.12.1/etc/cloudera-scm-server
vim db.properties com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=cdh119
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=scm
启动（很慢）
/mnt/storage/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start（server）
/mnt/storage/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start（agent）
访问
http://192.x.x.119:7180/	
admin
admin
查看启动日志
tail -f /mnt/storage/cloudera-manager/cm-5.12.1/log/cloudera-scm-server/cloudera-scm-server.log
tail -f /mnt/storage/cloudera-manager/cm-5.12.1/log/cloudera-scm-agent/cloudera-scm-agent.log

到这里Cloudera Manager算是安装完毕
下一篇文章介绍CDH安装以及常见问题

参考文章：
https://zhuanlan.zhihu.com/p/137631403
https://segmentfault.com/a/1190000045320282
https://zhuanlan.zhihu.com/p/658822854
https://blog.csdn.net/lukabruce/article/details/80805929
https://cloud.tencent.com/developer/article/2047067
https://developer.aliyun.com/article/879178
https://blog.csdn.net/weixin_40040107/article/details/91454921

安装包:
https://pan.baidu.com/s/1ljiVVf7DNziL_ImevWcDbA 提取码: qnat

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.pswp.cn/news/909853.shtml
繁体地址，请注明出处：http://hk.pswp.cn/news/909853.shtml
英文地址，请注明出处：http://en.pswp.cn/news/909853.shtml

如若内容造成侵权/违法违规/事实不符，请联系英文站点网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

青少年编程与数学 01-011 系统软件简介 25 Web服务器及代理软件

青少年编程与数学 01-011 系统软件简介 25 Web服务器及代理软件

青少年编程与数学 01-011 系统软件简介 25 Web服务器及代理软件 一、Web 服务器软件（一）定义与功能（二）历史与主要产品1. Apache HTTP Server2. Nginx3. Microsoft Internet Information Services（IIS）4. L…
阅读更多...
Vue的隐形魔法：虚拟DOM和Diff算法如何让页面飞起来？

Vue的隐形魔法：虚拟DOM和Diff算法如何让页面飞起来？

大家好，我是江城开朗的豌豆，一名拥有6年以上前端开发经验的工程师。我精通HTML、CSS、JavaScript等基础前端技术，并深入掌握Vue、React、Uniapp、Flutter等主流框架，能够高效解决各类前端开发问题。在我的技术栈中，除了…
阅读更多...
SAP_HANA常用sql合集——持续更新中

SAP_HANA常用sql合集——持续更新中

一、时间格式转换 (1)切换日期格式yyyymmdd的字段数据为yyyy-mm-dd select TO_VARCHAR(TO_DATE(t1.time1, YYYYMMDD), YYYY-MM-DD) AS time1, TO_VARCHAR(TO_DATE(t1.time2, YYYYMMDD), YYYY-MM-DD) AS time2 from table
阅读更多...
【AI Study】第四天，Pandas（5）- 数据可视化

【AI Study】第四天，Pandas（5）- 数据可视化

文章概要 本文详细介绍 Pandas 的数据可视化功能，包括： 基础绘图高级可视化统计图表实际应用示例 基础绘图 折线图 # 基本折线图 df.plot(x日期, y值) df.plot.line(x日期, y值)# 多列折线图 df.plot(x日期, y[列1, 列2])# 自定义样式 df.plot(x日期…
阅读更多...
Linux故障排查

Linux故障排查

目录 案例1：GRUB引导故障 案例2：文件系统只读故障 案例3：OOM Killer触发 案例4：系统启动卡住（initramfs损坏） 案例5：磁盘空间耗尽 案例6：SSH登录缓慢 案例7：逻辑卷…
阅读更多...
pikachu靶场通关笔记36 越权01之水平越权

pikachu靶场通关笔记36 越权01之水平越权

目录 一、水平越权 二、账户功能探测 1、登录账号lucy 2、登录账号lili 3、登录账号kobe 三、源码分析 四、渗透实战 1、登录lucy账号 2、越权访问lili账户资料 3、越权访问kobe账户资料 本系列为《pikachu靶场通关笔记》渗透实战，本文通过对越权关卡源码…
阅读更多...
javaweb -Ajax

javaweb -Ajax

Ajax的定义 Ajax（Asynchronous JavaScript and XML）是一种用于创建异步 Web 应用的技术，允许网页在不重新加载整个页面的情况下与服务器交换数据并更新部分内容。 Ajax的核心特点 异步通信：通过后台与服务器交互，用…
阅读更多...
11.OpenCV—联合QT环境配置

11.OpenCV—联合QT环境配置

1.QT环境变量配置 在Qt中配置OpenCV 3.4.6与Visual Studio 2017的步骤如下： 一、前期准备 安装组件验证 确认已安装Qt的MSVC2017版本（如Qt 5.12 MSVC2017 64-bit） 检查Visual Studio 2017的MSVC编译器是否正常工作 OpenCV库准备 从官网…
阅读更多...
2025虚幻引擎一般用什么模型格式

2025虚幻引擎一般用什么模型格式

2025虚幻引擎一般用什么模型格式 前言 积累了一些人物模型发现有的有骨骼，有的没骨骼，有的要转换格式，有的直接可以用，所以了解一下各种模型。 2025虚幻人物模型积累 格式转换真麻烦。 2025.uexp、.uasset文件、.ubulk如何打…
阅读更多...
电脑在使用过程中频繁死机怎么办

电脑在使用过程中频繁死机怎么办

正兴致勃勃地打游戏，或者赶着完成一份重要的工作文档，电脑突然死机了，鼠标动不了，键盘也没反应，只能干瞪眼干着急。电脑在使用过程中频繁死机，真的太影响心情和效率了。今天咱就来好好聊聊，遇到…
阅读更多...
【Java_EE】设计模式

【Java_EE】设计模式

设计模式：解决一些固定场景的固定套路，是一种代码风格的知道指南。设计模式不止23种 1、单例设计模式 单例设计模式：确保一个类只有一个实例，提供全局访问点 单例模式的实现方式： 1：饿汉模式 /*** 饿汉…
阅读更多...
Nginx代理缓存静态资源

Nginx代理缓存静态资源

问题描述 有两台服务器，一台是外网的网关服务器，一台是内网的资源服务器，但是两台服务器距离很远（跨省），页面中依赖大量插件资源，加载耗时久，本章重点讲解Nginx代理缓存静态资源。 …
阅读更多...
Blender 转换为 STP：软件操作与迪威模型网在线转换全指南

Blender 转换为 STP：软件操作与迪威模型网在线转换全指南

在三维设计与工程制造领域，不同格式的文件承担着各自的使命。Blender 作为一款功能强大且开源的三维建模软件，被众多设计师、艺术家以及学生广泛使用，能够创作出风格多样、细节丰富的三维模型。而 STP 格式作为制造业通用的数据交换标准&…
阅读更多...
WebFuture：PDF页面去掉下载按钮

WebFuture：PDF页面去掉下载按钮

问题描述：客户要求pdf页面不显示下载按钮 解决办法：WF15.2版本开始会在内容管理配置增加“允许下载 PDF“开关；之前的版本需要替换文件来处理 1.备份网站下的base文件夹，路径为/wwwroot/content/_common/base/，然后覆…
阅读更多...
【JVM】- 类加载与字节码结构2

【JVM】- 类加载与字节码结构2

编译期处理（语法糖） java编译器把.java源码编译成.class字节码的过程，自动生成和转换的一些代码。 默认构造器 public class Candy01 { }编译成class后的代码 public class Candy1 {public Candy1(){super();} }自动拆装箱（jd…
阅读更多...
WSL2 中安装 cuDNN​​ 的完整指南

WSL2 中安装 cuDNN​​ 的完整指南

以下是关于 ​​cuDNN​​ 的详细介绍及在 ​​WSL2 中安装 cuDNN​​ 的完整指南，结合权威资料整理而成： 📚 ​​一、cuDNN 深度解析​​ ​​1. 定义与作用​​ ​​cuDNN​​（CUDA Deep Neural Network Library）是…
阅读更多...
Apache Doris FE 问题排查与故障分析全景指南

Apache Doris FE 问题排查与故障分析全景指南

前言： FE（Frontend）是 Apache Doris 集群架构中的“大脑”，负责元数据管理、查询解析和调度等关键任务。一旦 FE 出现问题，整个集群的稳定性和可用性将受到严重影响。因此，掌握 FE 故障定位与排查方法对于保…
阅读更多...
RK AndroidFramework 内置应用可，卸载，恢复出厂设置恢复安装

RK AndroidFramework 内置应用可，卸载，恢复出厂设置恢复安装

device/rockchip/rk356x/rk3568_r/preinstall_del/Android.mkdevice/rockchip/rk356x/rk3568_r/preinstall_del/Android.mk include $(call all-subdir-makefiles) 拿内置LoyversePos应用做例子 device/rockchip/rk356x/rk3568_r/preinstall_del/preinstall.mk PRODUCT_PACK…
阅读更多...
一文了解Blob文件格式，前端必备技能之一

一文了解Blob文件格式，前端必备技能之一

文章目录 前言一、什么是Blob？二、Blob的基本特性三、Blob的构造函数四、常见使用场景1. 文件下载2. 图片预览3. 大文件分片上传 四、Blob与其他API的关系1. File API2. FileReader3. URL.createObjectURL()4. Response 五、性能与内存管理六、实际案例：…
阅读更多...
LLMs 系列实操科普（4）

LLMs 系列实操科普（4）

六、deep research 这是 chatgpt 推出的功能，但我这里是免费用户，一个月才有 5 次使用机会，而且使用的是轻量化模型版本，相对体验上比较鸡肋一些。 那这个深度思考研究是个什么东西呢？ 根据 openai 对其的解释是&…
阅读更多...
最新文章

Copyright @ 2022~2023