异步io

是内核fd与应用程序直接的关系

io 多路复用

1.检测io是否就绪

2.read/write

消息队列kafka：

1.典型应用：异步处理，系统解耦，流量削峰，日志处理

2.核心原理：kafka体系结构以及读写流程

3.具体操作：high level api 以及low level api

Kafka是一个开源的、高性能的，高吞吐的分布式流平台，又称为分布式消息队列中间件

消息队列特征：顺序排序，按照先进先出的方式进行消费

Kafka 消息队列通过发布-订阅模式、分区机制、持久化存储和分布式架构实现高效的消息传递与系统解耦，其核心原理可归纳为以下几个方面：

一、核心架构与组件

Producer（生产者）：负责将消息发布到 Kafka 集群的特定 Topic 中。生产者支持同步和异步发送模式，可通过分区策略（如轮询、哈希）将消息均匀分配到不同分区，实现负载均衡。
Broker（代理节点）：Kafka 集群中的服务器节点，负责存储消息、处理读写请求。每个 Broker 存储部分 Topic 分区，通过多节点协同实现水平扩展和高可用性。
Topic（主题）：消息的逻辑分类单元，如“订单创建”“用户注册”等。生产者将消息发送到指定 Topic，消费者通过订阅 Topic 获取消息。
Partition（分区）：Topic 的物理存储单元，每个 Topic 包含一个或多个分区，分散存储在不同 Broker 节点上。分区是 Kafka 并行处理的最小单位，支持多消费者并行消费，提升吞吐量。
Consumer（消费者）：从 Broker 拉取消息并处理。消费者属于某个 Consumer Group，同一组内消费者通过负载均衡机制分摊分区消费任务，避免重复处理。
Zookeeper：负责集群元数据管理（如 Broker 注册、Leader 选举）、Consumer Group Rebalance（负载均衡）等协调工作（注：Kafka 2.8+ 版本支持无 Zookeeper 模式）。

二、关键实现原理

分区机制与并行处理
- 分散存储：通过分区将 Topic 数据分散到多个 Broker 节点，避免单节点存储压力过大。例如，10GB 数据分布在 5 个分区，每个分区存储 2GB。
- 并行消费：每个分区可被一个消费者独立消费，多个分区可被多个消费者并行处理，显著提升吞吐率。
- 顺序保证：单个分区内的消息按顺序写入并分配唯一 Offset（偏移量），确保消息有序性，适用于金融交易、日志记录等需严格顺序的场景。
持久化存储与高可靠性
- 顺序写入磁盘：Kafka 将消息按顺序追加到分区日志文件（.log），利用机械盘顺序写入特性（比随机写入快 100 倍以上）提升性能。
- 分段存储：日志文件划分为多个 Segment（默认 1GB/个），旧 Segment 定期删除或归档，避免单个文件过大影响查询效率。
- 副本机制：每个分区配置多个副本（Replication Factor），分布在不同 Broker 节点上。主副本（Leader）处理读写请求，从副本（Follower）同步数据，确保单点故障时数据不丢失。
异步通信与系统解耦
- 生产者异步发送：生产者发送消息后立即返回，无需等待消费者响应，提升系统响应速度。例如，用户注册时发送验证短信，无需等待短信接口返回，直接将请求写入队列即可返回注册成功。
- 消费者 Pull 模式：消费者主动从 Broker 拉取消息，可根据自身处理能力控制消费速度，避免消息积压或丢失。
- 解耦性：生产者与消费者无需感知对方存在，仅通过队列交互。例如，电商系统中订单系统将消息写入队列，支付、物流等系统独立消费，各模块可独立升级或扩展。
流量削峰与负载均衡
- 缓冲机制：在突发流量（如秒杀场景）下，消息队列缓存大量请求，避免后端系统因瞬时压力过大崩溃。例如，每秒 10 万笔订单请求可先存入队列，再由系统按每秒 1 万笔的处理能力逐步消费。
- 动态负载均衡：Producer 监听 Broker 注册节点（/brokers/ids），实时获取可用 Broker 列表，通过轮询或哈希算法将消息分散到不同节点。Consumer Group 内消费者通过 Rebalance 机制动态分配分区，确保负载均衡。
消息消费与进度管理
- Offset 管理：消费者需显式提交 Offset（消费进度）到 Kafka 内部主题（__consumer_offsets），防止消费中途故障导致数据丢失。重启后，消费者从上次提交的 Offset 继续消费。
- 消费语义：支持 At Most Once（可能丢失消息）、At Least Once（可能重复消费）两种语义，满足不同业务场景需求。

三、数据流程示例

生产者发送消息：Producer 通过 Push 模式将消息发送到 Broker 的指定 Topic 分区，消息按顺序写入分区日志文件。
Broker 存储与复制：Broker 接收消息后，将消息写入 Leader 分区，并同步到 Follower 副本（ISR 机制确保数据一致性）。
消费者拉取消息：Consumer 通过 Pull 模式从 Broker 拉取消息，根据 Offset 定位消费位置，处理完成后提交新 Offset。
Zookeeper 协调：管理 Broker 注册、Topic 分区信息、Consumer Group Rebalance 等元数据，确保集群高可用性和数据一致性。