目录

    • 环境准备
    • JDK安装
      • 下载jdk
      • jdk安装
    • kafka 部署
      • kafka 下载
      • kafka 版本号结构解析
      • kafka 安装
        • 下载和解压安装包
        • 配置 KRaft 模式
        • 格式化存储目录
        • 启动kafka
        • Kafka 配置为 systemd 服务
    • 注意事项
      • 调整 JVM 内存参数

Kafka KRaft 版本(即 Kafka 3.0 及更高版本)使用 KRaft 模式(Kafka Raft 协议)替代 ZooKeeper 进行集群管理,简化了部署流程。以下是在 Linux 系统上部署 Kafka KRaft 的详细步骤

环境准备

主机:Centos7
IP: 192.168.37.10

JDK安装

下载jdk

https://www.oracle.com/java/technologies/downloads/?er=221886#java21

jdk安装

  1. 解压下载的文件到指定目录
tar xvf jdk-21_linux-x64_bin.tar.gz -C /usr/local/
  1. 设置环境变量 (以 Linux/macOS 为例)
    vim /etc/profile
export JAVA_HOME=/usr/local/jdk-21.0.8
export PATH=$JAVA_HOME/bin:$PATH
  1. 刷新环境变量
source /etc/profile
  1. 验证安装
[root@test-10 bin]# java --version
java 21.0.8 2025-07-15 LTS
Java(TM) SE Runtime Environment (build 21.0.8+12-LTS-250)
Java HotSpot(TM) 64-Bit Server VM (build 21.0.8+12-LTS-250, mixed mode, sharing)

kafka 部署

kafka 下载

地址:https://archive.apache.org/dist/kafka/
在这里插入图片描述
这里展示了历史的kafka各个版本。

本次我们下载 kafka_2.13-3.7.0.tgz 这个版本
https://archive.apache.org/dist/kafka/3.7.0/kafka_2.13-3.7.0.tgz

kafka 版本号结构解析

kafka_<SCALA_VERSION>-<KAFKA_VERSION>.tgz

Kafka 是用 Scala 和 Java 开发的,因此需要特定版本的 Scala 编译。版本号中的 2.13 表示该 Kafka 版本是用 Scala 2.13.x 编译的
3.7.0 是 Kafka 自身的版本号,采用 MAJOR.MINOR.PATCH 格式

kafka 安装

下载和解压安装包
mkdir -p /data/middleware
tar xvf kafka_2.13-3.7.0.tgz -C /data/middleware/
配置 KRaft 模式

编辑 config/kraft/server.properties 文件:

# 配置监听地址
log.dirs=/data/middleware/kafka_2.13-3.7.0/data
controller.quorum.voters=1@192.168.37.10:9093
advertised.listeners=PLAINTEXT://192.168.37.10:9092
格式化存储目录

Kafka KRaft 模式需要生成一个集群 ID 并配置相关参数:

[root@test-10 kafka_2.13-3.7.0]# ./bin/kafka-storage.sh random-uuid
BJODTrqBTbCBnwSG2VszJg

将生成的 UUID 记录下来, 使用生成的集群 ID 格式化存储目录:
./bin/kafka-storage.sh format -t <YOUR_CLUSTER_ID> -c config/kraft/server.properties

[root@test-10 kafka_2.13-3.7.0]# ./bin/kafka-storage.sh format -t  BJODTrqBTbCBnwSG2VszJg  -c config/kraft/server.properties
metaPropertiesEnsemble=MetaPropertiesEnsemble(metadataLogDir=Optional.empty, dirs={/data/middleware/kafka_2.13-3.7.0/data: EMPTY})
Formatting /data/middleware/kafka_2.13-3.7.0/data with metadata.version 3.7-IV4.# 执行后,data目录自动创建,并生成了两个文件。
[root@test-10 kafka_2.13-3.7.0]# ls data/
bootstrap.checkpoint  meta.properties
[root@test-10 kafka_2.13-3.7.0]# cat data/meta.properties 
#
#Fri Jul 18 11:25:00 CST 2025
cluster.id=BJODTrqBTbCBnwSG2VszJg
directory.id=YE6-pLr4UPcqstWaKaZJFw
node.id=1
version=1
启动kafka

前台启动(方便调试)

./bin/kafka-server-start.sh config/kraft/server.properties

后台启动

./bin/kafka-server-start.sh -daemon config/kraft/server.properties
Kafka 配置为 systemd 服务
[root@test-10 logs]# systemctl cat kafka 
# /etc/systemd/system/kafka.service
[Unit]
Description=Apache Kafka Server (KRaft Mode)
Documentation=https://kafka.apache.org/documentation/
Requires=network.target
After=network.target[Service]
Type=forking
Environment="JAVA_HOME=/usr/local/jdk-21.0.8" 
ExecStart=/data/middleware/kafka_2.13-3.7.0/bin/kafka-server-start.sh -daemon  /data/middleware/kafka_2.13-3.7.0/config/kraft/server.properties
ExecStop=/data/middleware/kafka_2.13-3.7.0/bin/kafka-server-stop.sh
Restart=on-failure
RestartSec=5
LimitNOFILE=100000[Install]
WantedBy=multi-user.target

重新加载 systemd 并启动服务

sudo systemctl daemon-reload
sudo systemctl start kafka
sudo systemctl enable kafka  # 设置开机自启

注意事项

调整 JVM 内存参数

可以在Service文件中增加

Environment=“KAFKA_HEAP_OPTS=-Xmx4G -Xms4G”

不覆盖修改,则启动的JVM参数采用bin/kafka-server-start.sh 默认
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/diannao/91631.shtml
繁体地址,请注明出处:http://hk.pswp.cn/diannao/91631.shtml
英文地址,请注明出处:http://en.pswp.cn/diannao/91631.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

websocket案例 599足球比分

目标地址:aHR0cHM6Ly93d3cuNTk5LmNvbS9saXZlLw接口:打开控制台 点websocket 刷新页面 显示分析:不写理论了关于websocket 几乎发包位置都是下方图片 不管抖音还是快手 等平台这里在进行 new WebSocket 后 是要必须走一步的 也就是 new WebSocket().onopen() 也就是onopen 进行向…

【后端】Linux系统发布.NetCore项目

目录 1.设置全球化不变模式 1.发布到文件 3. 配置为服务 3.1.添加服务 3.2.添加执行权限 3.3.启动服务 4.访问 1.设置全球化不变模式 双击所需项目&#xff0c;设置全球化不变模式 <!-- 设置全球化不变模式 --><RuntimeHostConfigurationOption>System.Globa…

CMU-15445(2024fall)——PROJECT#0

题目介绍 这是题目原文。 注意&#xff1a;在拉取项目的时候需要注意拉取2024fall的Tag&#xff0c;本人血泪教训&#xff01; 本题是关于HyperLogLog的具体实现&#xff0c;其介绍可以看这个视频进行了解。简单来说HyperLogLog可以在一个非常小的固定内存下&#xff08;一般…

使用微信免费的图像处理接口,来开发图片智能裁剪和二维码/条码识别功能,爽歪歪

大家好&#xff0c;我是小悟。 1、图片智能裁剪 我们先来了解一下图片智能裁剪。图片智能裁剪聚焦于数字图像的智能化处理。AI技术的引入彻底改变了传统依赖人工框选的裁剪模式。 通过深度学习模型自动识别图像主体&#xff08;人物、商品等&#xff09;&#xff0c;能在极短时…

【代码随想录】+ leetcode hot100:栈与队列算法专题总结、单调栈

大家好&#xff0c;我是此林。 今天分享的是【代码随想录】栈与队列算法专题总结&#xff0c;分享刷算法的心得体会。 1. 用栈实现队列、用队列实现栈 232. 用栈实现队列 - 力扣&#xff08;LeetCode&#xff09; 225. 用队列实现栈 - 力扣&#xff08;LeetCode&#xff09;…

《5分钟开发订单微服务!飞算JavaAI实战:IDEA插件安装→空指针修复→K8s部署全流程》

目录 40倍提升开发效能的秘密武器 一、为什么选择飞算JavaAI&#xff1f;​编辑 二、IDEA插件安装三步曲&#xff08;极简版&#xff09; 步骤1&#xff1a;安装插件&#xff08;30秒完成&#xff09; 步骤2&#xff1a;账号登录&#xff08;2种方式任选&#xff09; 方式…

SQL注入基础尝试

进入网址&#xff0c;测试正常回显和出错画面http://1bcf75af-6e69-4f78-ac71-849fb8cde1b5.node5.buuoj.cn/Less-2/? id1用特殊符号判断注入点判断其类型类型为数字型&#xff0c;order by判断列数当数字为4时候报错而3不报错&#xff0c;由此推断列数为3&#xff0c;接着测试…

[Dify] -进阶4-在 Dify 中实现 PDF 文档问答功能全流程

随着业务需求增加,AI 应用常遇到让模型“读懂”PDF并回答问题的场景。借助 Dify 的 RAG(Retrieval‑Augmented Generation)能力,我们可以构建一个“ChatPDF”式的互动问答机器人。本文详细讲解从环境搭建、PDF 上传、文本抽取、向量检索到问答部署的完整流程。 一、技术栈与…

【EPLAN 2.9】许可证xx成功却显示红色叉,无法启动

问题现象&#xff1a; 无法启动。 原因&#xff1a;通过mstsc远程桌面连接会占用显卡&#xff0c;导致调用显卡的软件无法成功。参考&#xff1a;Windows自带远程桌面(mstsc)在远程时无法启动&#xff08;打开&#xff09;某些应用&#xff08;软件&#xff09;的解决办法 编写…

Oracle ADG 一键自动化搭建脚本

前言在 Oracle 数据库高可用架构中&#xff0c;Active Data Guard (ADG) 是保障数据安全和业务连续性的核心方案。然而传统 ADG 搭建涉及数十项复杂配置&#xff08;监听、TNSNAMES、参数文件、密码文件、日志传输、应用服务等&#xff09;&#xff0c;步骤繁琐且易错&#xff…

某邮生活旋转验证码识别

注意,本文只提供学习的思路,严禁违反法律以及破坏信息系统等行为,本文只提供思路 如有侵犯,请联系作者下架 本文识别已同步上线至OCR识别网站: http://yxlocr.nat300.top/ocr/other/30 旋转验证码数据集如下: 看起来很像顶象的,都有着绿边干扰,那其实思路也能简单了,…

基于Android的景点旅游信息系统App

项目介绍用户分为普通用户和管理员两种角色。 1.管理员有用户管理、景点管理、评论管理功能。 2.用户管理包括查看已注册用户列表、删除用户&#xff1b; 3.景点管理包括增加景点信息、修改景点信息、删除景点信息、将景点设为推荐&#xff1b; 4.评论管理包括查看评论内容、删…

Python----NLP自然语言处理(词向量与词嵌入)

一、词向量与词嵌入将文本语料分词后&#xff0c;接下来就可以让计算机学习这些词&#xff0c;理解这些词的含义。我们可以直接将文本数据输入到计算机中让计算机学习吗&#xff1f;不可以&#xff0c;计算机只能看懂数字&#xff0c;看不懂文字。所以我们需要将词语转成一串数…

八、DMSP/OLS、NPP/VIIRS等夜间灯光数据能源碳排放空间化——碳排放空间分级、空间自相关

一、前言 前面已经将反演后能源碳排放提取、增长率、Slope趋势法分析做了介绍,本节就是给大家介绍如何制作碳排放空间分级和空间自相关的一些具体操作步骤,其实网上也有比较多的各类学习资源,但是质量就层次不齐。这里就给大家详细从头到尾说明白解释清楚如何获取下图这些成…

【电脑】鼠标的基础知识

下面是一些关于鼠标的详细知识&#xff1a;鼠标的基本结构外壳&#xff1a;通常由塑料或金属制成&#xff0c;提供手握的地方。滚轮&#xff1a;位于中央&#xff0c;用于滚动页面。有些高端型号的滚轮可以自定义功能。按键&#xff1a;最常见的是左键、右键和中键&#xff08;…

A33-vstar笔记及资料分享:搭建交叉编译环境

前言 本篇主要是介绍博主在构建A33-vstar开发板镜像时的步骤&#xff0c;也踩了一些坑&#xff0c;才整理出来&#xff0c;如果有错误&#xff0c;还请指正。 A33-vstar开发板的资料&#xff1a; 通过网盘分享的文件&#xff1a;A33-Vstar开发板资料合集 链接: https://pan.bai…

基于51单片机智能家居监控系统设计

摘 要 智能家居是以住宅为平台&#xff0c;利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活有关的设施集成&#xff0c;构建高效的住宅设施与家庭日程事务的管理系统&#xff0c;提升家居安全性、便利性、舒适性、艺术性&#xff0c;并实现…

在 OpenSUSE Tumbleweed 和 Leap 上安装 VirtualBox

OpenSUSE 是一款特别适合工作站、服务器及虚拟化环境(如 VirtualBox 和 VMware)的 Linux 发行版。虽然知名度不及 Ubuntu,但实际使用中我发现它比 CentOS、RedHat 甚至 Ubuntu 更易理解、安装和使用。当然,Ubuntu 庞大的社区支持确实使其更受欢迎。 该系统预装了 LibreOff…

Ansible AWX 自动化运维

Ansible & AWX 自动化运维一、概述1. Ansible 简介定义Ansible 是一款由 Michael DeHaan 创建的开源自动化工具&#xff0c;它基于 Python 语言开发&#xff0c;旨在简化复杂的 IT 任务&#xff0c;如配置管理、应用部署、任务编排和云资源管理等。其核心设计理念是“无代理…

如何解决服务器频繁重启的问题?

高防CDN和香港高防服务器是两种常见的网络安全解决方案&#xff0c;用于应对DDoS攻击和其他恶意流量。但它们的工作原理、应用场景和特点有所不同。以下是详细的对比分析&#xff1a;1. 什么是高防CDN和香港高防服务器&#xff1f;1.1 高防CDN高防CDN (Content Delivery Networ…