1.在terminal中检查是否安装brew命令 

brew --version

如果没有安装,在terminal中执行命令,安装brew

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

安装完成后,再重新打开teminal brew --version进行检查

2.下载安装hadoop

brew install hadoop

通过hadoop version 检查是否安装完成

3.查看是否可以远程登录,在terminal中执行命令

ssh localhost 

如果显示不允许登录,在系统中设置允许远程登录,进行系统设置

4.查看hadoop安装目录

brew --prefix hadoop

5.修改hadoop配置信息

cd /opt/homebrew/opt/hadoop/libexec/etc/hadoop

修改vi core-site.xml文件

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:8082</value></property><property><name>hadoop.tmp.dir</name><value>file:/opt/homebrew/opt/hadoop/datatmp</value></property>
</configuration>

修改hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property><!--不是root用户也可以写文件到hdfs--><property><name>dfs.permissions</name><value>false</value>    <!--关闭防火墙--></property><!--把路径换成本地的name坐在位置--><property><name>dfs.namenode.name.dir</name>  <value>file:/opt/homebrew/opt/hadoop/datatmp/dfs/name</value></property><!--在本地新建一个存放hadoop数据的文件夹,然后将路径在这里配置一下--><property><name>dfs.datanode.data.dir</name><value>file:/opt/homebrew/opt/hadoop/datatmp/dfs/data</value></property>
</configuration>

格式化namenode

输入hdfs namenode -format

修改yarn-site.xml

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
<property><name>yarn.resourcemanager.address</name><value>localhost:9000</value></property> 

6.启动hdfs

/opt/homebrew/opt/hadoop/libexec/sbin目录输入

./start-dfs.sh 如报以下错误

执行命令

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

chmod og-wx ~/.ssh/authorized_keys

重新启动 

在sbin目录下输入./start-dfs.sh

在浏览器中输入http://localhost:9870/ 如果出现以下界面说明安装成功

使用 ./stop-dfs.sh 关闭服务

7.启动yarn

在sbin目录下输入./start-yarn.sh

如果启动的过程中出现错误

原因是jdk版本过高,安装jdk8.重新配置JAVA_HOME再启动,jdk下载地址

https://www.oracle.com/java/technologies/downloads/#java8

在浏览器输入 http://localhost:8088/ 出现下图页面成功

执行 ./stop-yarn.sh 关闭服务

参考:https://blog.csdn.net/zx1245773445/article/details/84875774

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/bicheng/98123.shtml
繁体地址,请注明出处:http://hk.pswp.cn/bicheng/98123.shtml
英文地址,请注明出处:http://en.pswp.cn/bicheng/98123.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

多语言编码Agent解决方案(4)-Eclipse插件实现

Eclipse插件实现&#xff1a;支持多语言的编码Agent集成 本部分包含Eclipse插件的完整实现&#xff0c;包括多语言支持、命令注册、API调用和UI集成。插件使用Java开发&#xff0c;基于Eclipse Plugin Development Environment (PDE)。 1. Eclipse插件目录结构 eclipse-plugin/…

风险规则引擎-RPA 作为自动化依赖业务决策流程的强大工具

机器人流程自动化&#xff08;RPA&#xff09;听起来好像跟机器人统治世界似的&#xff0c;但其实不是那么回事。RPA 就是一套能在电脑上运行的程序&#xff0c;能快速、高效地自动完成日常重复的工作。RPA 让你能够设置一些软件“机器人”来执行特定的任务。RPA 的一个大好处就…

漏洞无效化学习

一、基础概念与原理1. 核心定义漏洞无效化&#xff08;Vulnerability Mitigation&#xff09;&#xff1a;并非直接修补漏洞本身&#xff0c;而是通过技术手段降低漏洞被成功利用的概率。其目标是让攻击者即使发现漏洞也无法达成攻击目的。 关键思路&#xff1a;通过访问控制、…

「Vue 项目中实现智能时间选择:带业务规则的级联选择器」

#创作灵感公司业务需要&#xff0c;某个时间节点前可以选择到月&#xff0c;某个时间节点后只能选择季度vue2 Vant2javascriptimport { Cascader, Field, Form, Popup, Button } from vant; import vant/lib/index.css;export default {name: CascaderPage,components: {VanCa…

day1———Qt———应用程序界面设置

1&#xff0c;定义一个Mystring类代替string的功能#include <iostream> #include <string.h>using namespace std; class Mystring {friend ostream &operator<<(ostream &cout,const Mystring &s);friend istream &operator>>(istrea…

apache实现LAMP+apache(URL重定向)

1.apache实现LAMPLAMP是指一组通常一起使用来运行动态网站的自由软件名称首字母的缩写a.L是指Linux操作系统b,.A是指Apache&#xff0c;用来提供Web服务c.M指MySQL&#xff0c;用来提供数据库服务d.P指PHP&#xff0c;是动态网站的一种开发语言1.1php运行方式说明php是脚本语言…

SAConv可切换空洞卷积

SAConv可切换空洞卷积 带来的改进机制时可切换的空洞卷积 是一种创新型卷积网络 专门为增强物体检测和分割任务&#xff0c;中特征提取去设计 SAC核心时相同的输入儿子应用到不同空洞率去进行卷积&#xff0c;设计特别开关函数融合这些不同卷积的成果 该方法可让网络更灵活的适…

基于Matlab的雾霾天气和夜间车牌识别系统

在复杂天气和低光照环境下&#xff0c;车牌识别系统的准确率和稳定性显著下降&#xff0c;严重影响交通管理与智能监控的可靠性。本文针对雾霾天气和夜间环境下车牌图像特征模糊、对比度低、噪声干扰严重的问题&#xff0c;提出了一种融合图像增强与模板匹配的车牌识别方法。系…

华为云/本地化部署K8S-查看容器日志

华为云日志查看 目前工作的大部分情况下&#xff0c;通过华为云LTS云日志服务就可以满足日常需求。 不过上线时过来支援的开发老哥更习惯于从容器里查看日志&#xff0c;也一并记录下以备不时之需。 1.登录服务节点服务器 点击左侧三个横线&#xff0c;选择 应用服务-云容器引擎…

【MySQL 死锁:从 “业务卡顿“ 到 “根因定位“ 的实战指南】

MySQL 死锁&#xff1a;从 “业务卡顿” 到 “根因定位” 的实战指南 后端开发必看&#xff1a;MySQL死锁排查与预防全攻略线上系统突然报出Deadlock found when trying to get lock; try restarting transaction&#xff0c;用户操作卡顿甚至超时&#xff0c;排查时却对着一堆…

从虚拟化基石到云原生架构的降维打击:用dd/mkfs玩转namespace隔离,解锁Docker/K8S资源密码,看透物理机到云服务器的进化之路

本篇摘要 本文围绕虚拟化与容器化技术展开&#xff0c;涵盖架构演进、Docker/K8S优势与挑战、namespace隔离实操&#xff08;如主机名/PID隔离&#xff09;、磁盘操作&#xff08;dd/mkfs/df/mount&#xff09;等&#xff0c;对比虚拟机与容器差异&#xff0c;阐明技术原理与架…

自动化测试的概念

文章目录自动化测试能够取代人工测试吗&#xff1f;回归测试自动化分类自动化测试金字塔为啥单元测试的性价比这么高呢&#xff1f;那为啥UI自动化测试的性价比没有组件测试的高呢&#xff1f;web自动化测试举例引入自动化测试的准备工作自动化测试的简单示例自动化测试能够取代…

OSPF故障排查实战:如何通过一条命令精准定位网络掩码不匹配问题

掌握display ospf error命令的解读技巧&#xff0c;快速解决OSPF邻接关系建立失败难题。一、问题背景与场景引入 在网络运维工作中&#xff0c;OSPF&#xff08;开放最短路径优先&#xff09;协议作为主流的内部网关协议&#xff0c;其稳定运行至关重要。然而&#xff0c;在实际…

Redis----如何引入分布式锁

一、概述首先引入分布式锁指的是应用程序引入&#xff0c;不是Redis本身引入&#xff0c;Redis作为中间件可以作为分布式锁的一个典型实现方案&#xff0c;同时也有一些其他的实现方案。分布式锁指的是一个/组程序&#xff0c;使用Redis实现的话就是通过添加一个特殊的Key-Valu…

prometheus-2.42.0.linux-amd64.tar.gz 安装配置展示

一、prometheus 1.1解压文件 # tar -xzvf prometheus-2.42.0.linux-amd64.tar.gz -C ~/apps/ prometheus-2.42.0.linux-amd64/ prometheus-2.42.0.linux-amd64/NOTICE prometheus-2.42.0.linux-amd64/consoles/ prometheus-2.42.0.linux-amd64/consoles/index.html.example p…

Linux 标准输入 标准输出 标准错误

目录一. 简介二. 常见用法2.1 输出重定向2.2 错误重定向2.3 同时重定向标准输出 错误2.4 输入重定向2.5 特殊设备三. 这样设计的好处3.1 区分正常信息和错误信息3.2 方便调用方脚本处理3.3 与管道结合时更清晰四. 案例4.1 if判断4.2 ls查询一. 简介 ⏹在 Linux/Unix 中&#…

零基础新手小白快速了解掌握服务集群与自动化运维(二)Linux Journalctl命令、Journalctl日志持久化存储

Linux提供了一个强大的日志系统&#xff0c;它可以跟踪和记录系统的各种活动。在这个系统中&#xff0c;journalctl是一个非常重要的工具&#xff0c;用于查询和操作由systemd进程管理的日志。 本文将深入探讨journalctl命令&#xff0c;介绍其基本使用、高级选项及示例等内容…

【学习】【js】栈数据结构

栈 栈是一种遵从后进先出&#xff08;LIFO&#xff09;原则的有序集合。新添加或待删除的元素都保存在栈的同一端&#xff0c;称作栈顶&#xff0c;另一端就叫栈底。在栈里&#xff0c;新元素都靠近栈顶&#xff0c;旧元素都接近栈底。 基于数组的栈 时间复杂度O(n),占用较多的…

【Linux】基本指令 · 下

alias 指令起别名为什么 ls -l 指令等价于 ll 指令呢&#xff1f;指令就是可执行程序&#xff0c;和我们自己写的代码编译好的程序&#xff0c;没有本质区别&#xff01; 指令在系统的某一个位置存在&#xff01; 执行指令前&#xff0c;现在系统中查找对应的指令指令在根目录下…

计算机视觉(opencv)实战二十二——指纹图像中提取特征点,计算两两指纹之间的相似度

指纹识别原理与代码实现详解指纹识别是一种常见的生物特征识别技术&#xff0c;广泛应用于门禁系统、手机解锁、考勤打卡、身份认证等场景。其核心思想是&#xff1a;从指纹图像中提取特征点&#xff0c;计算两幅指纹之间的相似度&#xff0c;并根据相似度判断是否为同一人。本…