前言：​

        在云原生时代，Kubernetes已成为容器编排的事实标准，它赋予了应用极高的弹性、可移植性和密度。然而，这种动态、瞬时的特性也带来了可观测性的新难题：当数以百计的Pod在节点间频繁创建和销毁时，传统的基于文件的日志管理方式变得难以为继。开发者和运维人员无法再登录到特定的服务器去查看日志，故障排查与应用监控犹如大海捞针。

        因此，一个能够自动采集、集中存储、并提供强大搜索与分析能力的日志系统不再是可选项，而是运维Kubernetes集群的关键基础设施。EFK栈（Elasticsearch, Fluentd, Fluent Bit）作为CNCF生态内广受认可的标准方案，完美地响应了这一需求。它提供了一套完整、高效且可扩展的框架，将分散在各处的容器日志转化为宝贵的运维洞察，是实现高效运维、保障业务稳定性的基石。本文将引导您深入了解EFK在Kubernetes中的架构与实践。

目录

一、Kubernetes日志系统部署

1.1 EFK组件镜像准备

1.2 存储卷配置

1.2.1 存储路径设置

1.2.2 状态服务配置

1.3 网络访问配置

1.3.1 服务暴露

1.3.2 防火墙规则

1.4 汉化配置

二、Fluentd日志收集配置

2.1 核心架构

2.2 配置文件解析

2.2.1 输入源配置

2.2.2 过滤规则

2.2.3 输出配置

2.3 污点容忍配置

三、Elasticsearch数据验证

3.1 集群状态检查

3.2 日志索引分析

3.2.1 日志字段映射

3.2.2 常见问题排查

四、图形化管理工具集成

4.1 工具部署流程

4.2 功能验证

五、配置文件深度解析

5.1 环境变量注入

5.2 插件加载机制

5.3 配置热加载

总结

一、Kubernetes日志系统部署

1.1 EFK组件镜像准备

  • 镜像文件需从GitHub获取，访问方式决定配置文件调整方向

  • 需根据实际需求修改service类型，如需外部访问需添加Ingress配置

  • 官方镜像仓库地址：github点com/kubernetes，包含已验证的部署方案

1.2 存储卷配置

1.2.1 存储路径设置

  • Elasticsearch数据目录默认为/data/v1，可按需修改挂载路径

  • 使用NFS存储时需在所有节点安装nfs组件，master节点可模拟NFS服务

  • 关键配置参数对照表：

参数默认值作用行号
prevention nameelastic集群标识符74
service port5601Kibana访问端口76
transport端口9300集群内部通信端口96
http端口9200REST API访问端口96

1.2.2 状态服务配置

  • Elasticsearch需部署为StatefulSet，配置三个节点组成集群

  • 节点启动参数通过环境变量传递：es-class-0, es-class-1, es-class-2

  • 集群内部通信使用9300端口，外部访问使用9200端口

1.3 网络访问配置

1.3.1 服务暴露

  • Kibana服务需修改Service类型为NodePort或LoadBalancer

  • 端口映射关系：

    • 5601: Kibana Web界面

    • 9200: Elasticsearch API

    • 9300: 集群节点通信

  • 外部访问需绑定监听地址：--network.host=0.0.0.0

1.3.2 防火墙规则

1.4 汉化配置

  • 创建ConfigMap注入汉化文件

  • 挂载路径：/usr/share/kibana/config/kibana.yml

  • 配置文件核心内容：

     i18n.locale: "zh-CN"server.host: "0.0.0.0"elasticsearch.hosts: ["http://elasticsearch:9200"]

二、Fluentd日志收集配置

2.1 核心架构

2.2 配置文件解析

2.2.1 输入源配置

  • 监听系统日志文件：

     <source>@type tailpath /var/log/containers/*.logpos_file /var/log/fluentd-containers.log.postag kubernetes.*read_from_head true</source>

  • 接收TCP日志输入（兼容Filebeat）：

     <source>@type tcpport 5170bind 0.0.0.0</source>

2.2.2 过滤规则

  • 使用grok解析Nginx日志：

     <filter kubernetes.var.log.containers.nginx**>@type parserkey_name logreserve_data true<parse>@type grokpattern %{NGINXACCESS}</parse></filter>

  • 添加主机名标签：

     <filter **>@type record_transformer<record>hostname "#{Socket.gethostname}"</record></filter>

2.2.3 输出配置

  • 多索引路由输出：

     <match kubernetes.var.log.containers.**>@type elasticsearchindex_name logstash-${record['tag']}</match>

  • 缓冲机制配置：

     <buffer>@type filepath /var/log/fluentd-buffersflush_mode intervalflush_interval 5s</buffer>

2.3 污点容忍配置

 确保DaemonSet可调度到master节点：

   tolerations:- key: "node-role.kubernetes.io/master"operator: "Exists"effect: "NoSchedule" 

三、Elasticsearch数据验证

3.1 集群状态检查

  • 端口转发验证服务状态：

     kubectl port-forward svc/elasticsearch 9200:9200curl localhost:9200/_cluster/health

  • 健康状态指标说明：

    • green：所有分片正常分配

    • yellow：主分片正常，副本未分配

    • red：主分片未能分配

3.2 日志索引分析

3.2.1 日志字段映射

字段名来源数据类型说明
@timestamp系统生成date日志产生时间
log原始日志text完整日志内容
streamDocker驱动keywordstdout/stderr
kubernetes.pod.nameK8s元数据keywordPod名称

3.2.2 常见问题排查

  • 缺失审计日志：需单独收集/var/log/messages

  • 字段解析失败：检查grok模式匹配正则

  • 索引未创建：确认Fluentd输出标签匹配规则

四、图形化管理工具集成

4.1 工具部署流程

  1. 添加软件仓库源：

     curl -sS https://downloads.lens.cloud/repo/rpm/lens.repo | sudo tee /etc/yum.repos.d/lens.repo

  2. 安装Lens桌面客户端：

     sudo dnf install lens-desktop

  3. 导入kubeconfig文件：

    • 路径：~/.kube/config

    • 通过GUI界面加载集群配置

4.2 功能验证

  • 集群资源监控看板：

  • Pod管理操作支持：

    • 实时日志查看

    • 终端接入

    • YAML编辑

五、配置文件深度解析

5.1 环境变量注入

  • Fluentd连接ES的配置逻辑：

     hosts "#{ENV['FLUENT_ELASTICSEARCH_HOST'] || 'elasticsearch'}:#{ENV['FLUENT_ELASTICSEARCH_PORT'] || 9200}"

  • 默认值机制：双竖线||实现短路或

5.2 插件加载机制

  • 动态加载Ruby插件：

     <system>rpc_endpoint 0.0.0.0:24444plugins_path /fluentd/plugins</system>

  • 插件类型清单：

    1. 输入插件（Input）

    2. 解析插件（Parser）

    3. 过滤插件（Filter）

    4. 输出插件（Output）

5.3 配置热加载

  • 文件变更监听配置：

     <source>@type httpport 8888bind 0.0.0.0<parse>@type json</parse></source>
总结：

        构建Kubernetes环境的集中式日志系统是解锁容器化应用全栈可观测性的关键一步。通过部署和实施EFK日志架构，我们成功地将分散且易失的容器日志转化为稳定、可搜索且极具价值的数据资产。

该架构的优势集中体现在：

1.高效性与低损耗​：采用Fluent Bit作为DaemonSet代理，以其卓越的性能和低资源开销，实现了从节点层面无侵入式的日志采集。

2.强大的检索与分析能力​：Elasticsearch提供了近乎实时的日志索引和复杂的全文搜索能力，使得快速定位问题成为可能。

3.卓越的可视化​：Kibana丰富的仪表盘和查询界面为运维和开发团队提供了统一的日志查看平台，极大地提升了协作效率和故障排查速度。

4.高可扩展性与可靠性​：每个组件都可以进行水平扩展（如Elasticsearch集群、Fluentd聚合层），并通过持久化机制确保数据在组件故障时不会丢失。

        总而言之，Kubernetes EFK日志方案不仅解决了容器日志管理的核心痛点，更通过将日志数据平台化，为性能监控、安全审计、业务分析等高级应用奠定了坚实的数据基础，是任何生产级Kubernetes集群不可或缺的核心组成部分。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.pswp.cn/bicheng/94925.shtml
繁体地址，请注明出处：http://hk.pswp.cn/bicheng/94925.shtml
英文地址，请注明出处：http://en.pswp.cn/bicheng/94925.shtml

如若内容造成侵权/违法违规/事实不符，请联系英文站点网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Linux下的软件编程——网络编程（tcp）

Linux下的软件编程——网络编程（tcp）

重点&#xff1a;1.UDP和TCP区别2.TCP三次握手和四次挥手3.TCP粘包问题及解决办法4.TCP客户端和服务端的编程流程 TCP&#xff1a;传输层传输控制协议&#xff08;流式套接字&#xff09;1&#xff09;TCP的特点1.面向数据流2.有连接&#xff08;通信之前必须建立连接…
阅读更多...
印度尼西亚数据源 PHP 对接文档

印度尼西亚数据源 PHP 对接文档

一、环境要求与配置 1. 系统要求 PHP ≥ 7.4扩展&#xff1a;cURL、JSON、OpenSSLComposer&#xff08;推荐&#xff09; 2. 安装依赖 composer require guzzlehttp/guzzle3. 基础配置类 <?php // config/StockTVConfig.php class StockTVConfig {const BASE_URL https://…
阅读更多...
Maven核心用法

Maven核心用法

1.什么是Maven2.Maven的作用&#xff08;依赖管理、项目构建、统一的项目结构&#xff09;2.1 依赖管理2.2 项目构建2.3 统一的项目结构3.Maven的介绍IDEA中对应信息4.Maven的安装注意&#xff1a;需要解压到 没有中文 不带空格 的目录下5.IDEA中的Maven配置然后需要配置JD…
阅读更多...
TypeScript：never类型

TypeScript：never类型

never类型是TypeScript中最特殊的类型之一&#xff0c;它表示永远不会发生的值。作为专业前端工程师&#xff0c;理解never类型对于编写类型安全的代码至关重要。1. never类型的核心概念定义&#xff1a;never类型表示永远不会出现的值&#xff0c;常见于&#xff1a;抛出错误的…
阅读更多...
图数据库neo4j的安装

图数据库neo4j的安装

安装JDK Neo4j是基于Java的图形数据库&#xff0c;运行Neo4j需要启动JVM进程&#xff0c;因此必须安装JAVA SE的JDK。从Oracle官方网站下载 Java SE JDK&#xff0c;我的的版本是JDK8。 安装Neo4j 官网下载最新版本Neo4j 我下的是社区版的 Neo4j应用程序有如下主要的目录结构…
阅读更多...
汽车诊断服务（UDS——0x27服务解析）

汽车诊断服务（UDS——0x27服务解析）

目录 1、服务概述 2、工作原理 3、常用的应用场景 4、子功能 5、请求与响应格式 5、1服务请求 5、2服务肯定响应 5、3服务否定响应 6、延时机制 1、服务概述 该服务对零部件中部分加密的服务进行解密工作安全访问的概念使用“种子”和“密钥”来实现 参数描述种子4字…
阅读更多...
波兰密码破译机bomba：二战密码战的隐形功臣

波兰密码破译机bomba：二战密码战的隐形功臣

本文由「大千AI助手」原创发布&#xff0c;专注用真话讲AI&#xff0c;回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我&#xff0c;一起撕掉过度包装&#xff0c;学习真实的AI技术&#xff01; 从数学原理到机械奇迹&#xff0c;破解enigma的早期利器 ✨ 1. bomba概…
阅读更多...
【RAGFlow代码详解-30】构建系统和 CI/CD

【RAGFlow代码详解-30】构建系统和 CI/CD

Docker 构建系统 RAGFlow 使用主 Dockerfile 1-214 中定义的复杂多阶段 Docker 构建过程&#xff0c;该过程创建应用程序的完整和精简变体。 多阶段构建架构Docker 构建过程 构建过程由 Dockerfile 2-214 中 定义的三个主要阶段组成&#xff1a;基础阶段 &#xff08; Dockerfi…
阅读更多...
rust语言 (1.88) egui (0.32.1) 学习笔记（逐行注释）（十七）设置主题

rust语言 (1.88) egui (0.32.1) 学习笔记（逐行注释）（十七）设置主题

设置主题set_visuals ctx.set_visuals(Visuals::dark()); 设置暗色主题ctx.set_visuals(Visuals::light()); 设置亮色主题 fn main() -> eframe::Result<()> {// 配置原生窗口参数let options eframe::NativeOptions::default();eframe::run_simple_native("主题…
阅读更多...
Linux入门教程 第十五章 Linux 系统调优工具

Linux入门教程 第十五章 Linux 系统调优工具

文章目录一、系统调优概述与 CPU 负载查看1.使用 uptime 查看系统负载2.使用 top 按 CPU 使用率排序3.使用 ps 查看 CPU 使用最多的进程4.使用 mpstat 查看 CPU 详细状态一、查看内存运行状态1.使用 free 查看内存使用2.查看 /proc/meminfo 获取详细内存信息3.使用 top 按内存使…
阅读更多...
【Docker基础】Docker-compose进阶配置：健康检查与服务就绪

【Docker基础】Docker-compose进阶配置：健康检查与服务就绪

目录 引言 1 Docker健康检查基础概念 1.1 什么是健康检查 1.2 健康检查的状态 2 healthcheck配置详解 2.1 基本语法 2.2 配置参数解释 2.3 健康检查命令的编写 2.4 健康检查的工作流程 3 服务依赖与健康检查 3.1 depends_on的基本用法 3.2 结合健康检查的依赖 3.3…
阅读更多...
Redis大Key处理流程与注意事项

Redis大Key处理流程与注意事项

概述 Redis大Key问题是在生产环境中经常遇到的技术挑战&#xff0c;它可能导致内存占用过高、网络延迟增加、阻塞其他操作等严重问题。本文将深入探讨Redis大Key的识别、处理流程以及相关注意事项。 什么是Redis大Key 定义标准 String类型: 单个Key的Value超过10KBHash类型: 单…
阅读更多...
领悟8种常见的设计模式

领悟8种常见的设计模式

很多 Java 初学者觉得设计模式 “抽象难学”&#xff0c;其实是没抓住核心逻辑 —— 设计模式不是 “炫技代码”&#xff0c;而是前辈们总结的 “解决高频复杂问题的通用思路”&#xff0c;好吧&#xff0c;你可以过一遍了解这些大概是个什么东西不求我们能够完全理解&#xff…
阅读更多...
复杂BI报表SQL

复杂BI报表SQL

复杂SQL 一行多个人员&#xff0c;平均瓜分总产量。 -- 西宁硅料三期 with b as ( select(row_number() OVER(PARTITION BY t1.tool ORDER BY t1.tool ) - 1) AS help_topic_id from((select1 AS tool union allselect1 AS tool union allselect1 AS tool union allselect1 AS …
阅读更多...
bin log 和 redo log有什么区别

bin log 和 redo log有什么区别

问题bin log 和 redo log有什么区别我的回答首先&#xff0c;这两种日志的作用不同。redo log是InnoDB引擎特有的&#xff0c;主要用于崩溃恢复&#xff0c;保证事务的持久性。而bin log是MySQL服务层的日志&#xff0c;主要用于主从复制和数据恢复。从层次上看&#xff0c;red…
阅读更多...
导入文件允许合并表格

导入文件允许合并表格

本来呢&#xff0c;已经有几年没咋写博客了&#xff0c;但是好像网上没什么好的合并导入可以抄的&#xff0c;周末加班了一天弄出来了&#xff0c;想一想也不算造轮子&#xff0c;可以露一手出来&#xff0c;最近也挺喜欢写注释的&#xff0c;应该方便大家抄的public class Tra…
阅读更多...
WebIDEPLOY 技术驱动樱桃溯源管理系统的价值重塑与落地实践—— 以樱桃溯源管理系统构建产业信任体系的路径探索

WebIDEPLOY 技术驱动樱桃溯源管理系统的价值重塑与落地实践—— 以樱桃溯源管理系统构建产业信任体系的路径探索

一、WebIDEPLOY 技术支撑下的樱桃溯源系统核心架构樱桃种植从开花到销售的全流程数据记录&#xff0c;需要兼顾专业性与易操作性&#xff0c;WebIDEPLOY 技术以 “零代码降低门槛、云原生优化成本” 的特性&#xff0c;成为连接数字工具与樱桃种植的关键纽带。系统核心架构围绕…
阅读更多...
零知开源——基于STM32F407VET6实现ULN2003AN驱动28BYJ-48步进电机控制系统

零知开源——基于STM32F407VET6实现ULN2003AN驱动28BYJ-48步进电机控制系统

✔零知IDE 是一个真正属于国人自己的开源软件平台&#xff0c;在开发效率上超越了Arduino平台并且更加容易上手&#xff0c;大大降低了开发难度。零知开源在软件方面提供了完整的学习教程和丰富示例代码&#xff0c;让不懂程序的工程师也能非常轻而易举的搭建电路来创作产品&am…
阅读更多...
如何多个手机设备的实现不同公网IP

如何多个手机设备的实现不同公网IP

为了避免多个手机设备使用相同的公网IP地址导致平台检测关联&#xff0c;可以通过以下方法实现不同公网IP的分配和管理. 一、移动网络&#xff08;SIM 卡&#xff09;方案 1.移动数据与Wi-Fi切换&#xff1a;通过切换移动数据和不同Wi-Fi网络&#xff08;如家庭Wi-Fi、公共Wi-F…
阅读更多...
沙箱操作指南

沙箱操作指南

这是一份通用且详细的沙箱操作指南。沙箱（Sandbox）是一种安全隔离环境，常用于测试未经验证的代码、软件、文件或访问可疑网址，而不会对真实系统造成危害。 本指南将分为以下几个部分： 沙箱是什么？ 为什么需要使用沙箱？ 如何使用沙箱？（三种主要类型） 最佳实践与注意事…
阅读更多...
最新文章

Copyright @ 2022~2023