一、日志分析平台核心概念

在分布式系统中，日志是系统运行状态监控、问题排查和业务分析的重要依据。随着系统规模扩大，单机日志管理方式已无法满足需求，分布式日志分析平台应运而生。其核心目标是实现日志的集中收集、统一处理、高效存储和可视化分析。

ELK：由 Elasticsearch、Logstash、Kibana 组成的传统日志分析架构，依赖 Logstash 完成日志的收集与处理。
ELFK：在 ELK 基础上引入 Filebeat 作为日志收集器，Logstash 仅负责日志处理，形成 “收集 - 处理 - 存储 - 可视化” 的分层架构。
EFK：以 Fluent-bit 替代 ELFK 中的 Filebeat 和 Logstash，整合日志收集与处理功能，适用于容器化环境的轻量级架构。

Elasticsearch：分布式搜索引擎，基于 Lucene 构建，支持海量日志的实时存储、检索和聚合分析，通过分片和副本机制保证高可用。
Logstash：数据处理管道工具，支持日志的输入、过滤（如格式转换、字段提取）和输出，可处理复杂的日志转换需求，但资源占用较高。
Filebeat：轻量级日志收集器（基于 Golang 开发），专为日志采集设计，占用资源极少（可忽略不计），可部署在所有应用节点，通过配置读取指定日志文件并上报。
Fluent-bit：开源日志处理器与收集代理，兼具日志采集和处理能力，体积小、性能高，适合容器化环境和边缘计算设备。
Kibana：日志可视化平台，提供丰富的图表工具（如折线图、饼图、仪表盘等），支持通过索引模式关联 Elasticsearch 数据，实现日志的交互式分析。

ELFK 是在 ELK 基础上针对大规模集群场景的优化架构，其核心改进在于日志收集方式的革新。

维度	ELK	ELFK
组件组成	Elasticsearch+Logstash+Kibana	Elasticsearch+Logstash+Filebeat+Kibana
收集方式	Logstash 直接部署在应用节点收集日志	Filebeat 部署在应用节点收集日志，Logstash 集中处理
资源占用	高（Logstash 消耗 CPU / 内存较多）	低（Filebeat 资源占用可忽略）
扩展性	受限于 Logstash 性能，易成瓶颈	无单点瓶颈，支持大规模节点部署
适用场景	小规模集群、日志量较少场景	中大规模集群、多节点分散部署场景

ELK 的局限性：
- 若通过 NFS 共享日志文件供 Logstash 读取，NFS 易成为流量瓶颈；
- 若在每个应用节点部署 Logstash，其高资源占用会与应用争抢资源，影响业务稳定性。
ELFK 的改进：
- Filebeat 轻量特性：可在所有应用节点部署，仅负责日志读取和上报，不影响应用运行；
- 分布式收集：通过网络直接发送日志，避免 NFS 单点依赖，支持横向扩展；
- 功能分离：Filebeat 专注收集，Logstash 专注处理，职责清晰，便于维护。

ELFK 架构中，Filebeat 与 Logstash 的协作是日志处理链路的核心环节。

日志采集：通过配置文件指定日志路径（如/var/log/httpd/*.log），实时监控文件变化，记录读取位置（通过 sincedb 机制避免重复收集）。
数据过滤：支持通过processors配置清理无效字段（如log、agent、ecs等元数据），减少传输量。
标签标记：通过fields配置添加自定义标签（如logtype: apache_log），便于后续 Logstash 按类型处理。
输出配置：默认通过output.logstash指定 Logstash 地址（如hosts: ["192.168.1.27:5044"]），将日志批量发送。

输入阶段：通过beats插件监听 5044 端口，接收来自 Filebeat 的日志数据。
过滤阶段：基于 Filebeat 的标签（如[fields][logtype]）进行条件处理，例如：
- 对apache_log类型日志，使用grok插件解析HTTPD_COMBINEDLOG格式（提取客户端 IP、请求路径、响应码等字段）；
- 用date插件将日志中的时间戳（如dd/MMM/yyyy:HH:mm:ss Z）转换为@timestamp字段，统一时间格式。
输出阶段：按日志类型输出至 Elasticsearch，通过index参数指定索引名称（如weblog-%{+YYYY.MM.dd}），实现按日期分片存储。

EFK 是针对容器化大规模集群设计的轻量级架构，其核心是用 Fluent-bit 替代 ELFK 中的 Filebeat 和 Logstash。

学茶商城作为在线电商平台，需通过日志分析平台监控用户行为、接口性能和系统稳定性，其日志分析方案基于 ELFK/EFK 架构设计。

日志分类标记：通过 Filebeat/Fluent-bit 的logtype标签区分日志类型（如apache_log、tea-server），便于后续针对性处理。
字段清理优化：移除log、agent等冗余元数据，保留clientip、request、response等核心业务字段，减少存储和传输开销。
索引规划：按日志类型和日期拆分索引（如weblog-%{+YYYY.MM.dd}、tea-admin-%{+YYYY.MM.dd}），提高查询效率。

Kibana 作为日志可视化工具，是日志分析的 “最后一公里”，其核心功能基于 Elasticsearch 的索引和聚合能力实现。

图表类型：支持折线图（展示访问量趋势）、饼图（展示请求路径分布）、条形图（展示响应码占比）等多种图表。
数据分析维度：
- 流量分析：统计不同时段的访问量，识别高峰时段；
- 用户分析：通过clientip统计用户来源，通过user_agent分析客户端类型；
- 业务分析：统计热门请求路径（如/images/pic12.png），识别用户关注的商品或页面。

ELFK通过 “Filebeat 收集 + Logstash 处理” 的分层架构，解决了 ELK 的资源占用和扩展性问题，是中大规模传统集群的首选方案。
EFK以 Fluent-bit 为核心，适合容器化环境，通过组件整合实现轻量部署和高效运行。
日志分析的核心价值在于将无序日志转化为有序数据，通过标签分类、字段优化和可视化分析，为系统运维和业务决策提供支撑。