在Linux文件I/O操作中，缓冲区的管理是一个核心概念，主要涉及用户空间缓冲区和内核空间缓冲区。理解这两者的区别和工作原理对于高效的文件操作至关重要。

目录

一、什么是缓冲区

二、为什么要引入缓冲区机制

三、三级缓冲体系

1、三级缓冲体系全景图

2、各级缓冲区的关键特性对比（重要！！！）

3、数据流动的详细机制

阶段1：应用缓冲区 → 标准I/O缓冲区

阶段2：标准I/O缓冲区 → 内核缓冲区

阶段3：内核缓冲区 → 物理存储

四、用户空间缓冲区

特点：

示例：

1. 文件打开

2. 用户缓冲区声明

3. 数据写入

4. 文件关闭

关键点说明

关键补充（重点！！！）：

可视化流程

五、内核空间缓冲区

特点：

相关系统调用：

1. open() 系统调用

2. write() 系统调用

3. fsync() 系统调用

4. close() 系统调用

总结：数据流向

应用场景

扩展知识

两者协作流程

六、缓冲区的层级关系

七、缓冲模式对比

八、性能优化考虑

九、实际应用建议

一、什么是缓冲区

        缓冲区是内存空间中预留的一部分存储空间，用于暂存输入或输出的数据。根据其对应的设备类型，缓冲区可分为输入缓冲区和输出缓冲区。

二、为什么要引入缓冲区机制

        直接通过系统调用对磁盘进行读写操作时，每次操作都需要执行一次系统调用，这会导致CPU频繁地在用户空间和内核空间之间切换，消耗大量CPU时间，严重影响程序执行效率。

采用缓冲区机制可以有效减少系统调用次数。例如：

  • 从磁盘读取数据时，可以一次性读取大量数据到缓冲区，后续访问直接从缓冲区读取，减少磁盘操作次数
  • 计算机对缓冲区的操作速度远快于磁盘操作，因此使用缓冲区能显著提高运行速度
  • 打印机操作时，数据先输出到打印机缓冲区，使CPU可以处理其他任务

        缓冲区本质上是一块位于输入输出设备与CPU之间的内存区域，它协调了低速设备与高速CPU之间的工作节奏，避免了低速设备占用CPU资源，从而提升CPU的工作效率。

三、三级缓冲体系

1、三级缓冲体系全景图

2、各级缓冲区的关键特性对比（重要！！！）

特性应用程序缓冲区标准I/O库缓冲区内核缓冲区(页缓存)
所处空间用户空间用户空间内核空间
管理方应用程序C运行时库Linux内核
典型大小任意(程序员定义)通常8KB(BUFSIZ)动态(占内存20-40%)
同步触发条件显式调用I/O函数缓冲模式规则脏页超时或手动sync
持久性保证无无需fsync保证
可见性完全可见部分可见(setvbuf)完全隐藏

3、数据流动的详细机制

阶段1：应用缓冲区 → 标准I/O缓冲区

  • 触发条件：调用fwrite/fprintf等库函数时立即发生

  • 内存操作：

    // 伪代码：fwrite的核心逻辑
memcpy(FILE->buffer + FILE->pos, user_buf, user_size);
FILE->pos += user_size;

  • 关键特点：

    • 纯用户空间的内存拷贝(不涉及系统调用)

    • 拷贝完成后函数立即返回

    • 不受缓冲模式影响(模式只控制下一阶段)

阶段2：标准I/O缓冲区 → 内核缓冲区

  • 触发条件：

    缓冲模式触发时机
    _IOFBF(全缓冲)缓冲区满或文件关闭
    _IOLBF(行缓冲)遇到换行符、缓冲区满或文件关闭
    _IONBF(无缓冲)每次操作立即触发

  • 系统调用流程：

    1. 库调用write(fd, internal_buf, buf_used)

    2. 执行权限提升(用户态→内核态)

    3. 内核通过copy_from_user()将数据复制到页缓存

    4. 标记相关页为PG_dirty

  • 性能优化：

    // 手动刷新示例
setvbuf(fp, NULL, _IOFBF, 16384);  // 16KB缓冲
fwrite(buf, 1, 16000, fp);         // 不触发write
fwrite(buf, 1, 4000, fp);          // 总20KB>16KB，触发write

阶段3：内核缓冲区 → 物理存储

  • 自动刷出条件：

    • 脏页存在时间 > dirty_expire_centisecs(默认3000cs/30秒)

    • 系统脏页比例 > dirty_background_ratio(默认10%)

    • 内存回收压力

  • 手动控制：

    fsync(fd);  // 阻塞直到数据落盘
fdatasync(fd);  // 只同步数据不同步元数据

四、用户空间缓冲区

        用户空间缓冲区是由应用程序或标准库(如glibc)在用户空间维护的内存区域，用于临时存储要写入或读取的数据。

特点：

  • 位置：位于进程的用户空间内存中

  • 管理方：由应用程序或标准库管理

  • 目的：减少系统调用次数，提高I/O效率

  • 大小：通常由应用程序决定，标准库可能有默认大小

示例：

// 使用标准I/O函数时的用户缓冲区
FILE *fp = fopen("file.txt", "w");
char buf[1024]; // 用户缓冲区
fwrite(buf, 1, sizeof(buf), fp); // 数据先写入用户缓冲区
fclose(fp); // 最终flush到内核

1. 文件打开

FILE *fp = fopen("file.txt", "w");

  • 使用标准I/O函数fopen()打开文件

  • 返回FILE*指针，这个结构体包含了文件描述符和用户缓冲区信息

  • "w"模式表示以写入方式打开文件(如果存在则清空)

2. 用户缓冲区声明

char buf[1024]; // 用户缓冲区

  • 在用户空间声明了一个1024字节的缓冲区

  • 这是应用程序自己管理的缓冲区，与标准I/O库的缓冲区是分开的

3. 数据写入

fwrite(buf, 1, sizeof(buf), fp); // 数据先写入用户缓冲区

  • fwrite()将数据从buf写入文件流

  • 实际流程：

    1. 数据从buf复制到标准I/O库维护的用户缓冲区(在FILE结构体中)

    2. 当用户缓冲区填满时，库函数会自动调用write()系统调用将数据送入内核缓冲区

    3. 对于1024字节的写入，如果标准I/O的缓冲区足够大，可能不会立即触发系统调用

4. 文件关闭

fclose(fp); // 最终flush到内核

  • fclose()执行以下操作：

    1. 将标准I/O库的用户缓冲区中剩余数据flush到内核(通过write()系统调用)

    2. 释放FILE结构体和相关资源

    3. 关闭文件描述符

关键点说明

  1. 双层缓冲：

    • 第一层：应用程序自己的缓冲区(buf[1024])

    • 第二层：标准I/O库维护的用户缓冲区(在FILE结构体中)

  2. 缓冲策略：

    • 标准I/O库通常使用全缓冲模式(对于磁盘文件)

    • 缓冲区大小可以通过setvbuf()函数设置

  3. 实际写入时机：

    • 缓冲区满时

    • 显式调用fflush()

    • 文件关闭时

    • 程序正常终止时

  4. 与内核缓冲区的关系：

    • 只有当数据从用户缓冲区通过write()系统调用进入内核后，才会被加入内核的页缓存

    • 此时数据仍未真正写入磁盘，除非：

      • 显式调用fsync()

      • 使用O_SYNC标志打开文件

      • 内核定期刷出脏页

关键补充（重点！！！）：

        当调用fwrite(buf, size, nmemb, stream)时，数据从用户缓冲区到标准I/O库缓冲区的复制遵循以下规则：

  1. 无条件立即复制：

    • 从用户缓冲区到标准I/O库缓冲区的内存拷贝是无条件立即执行的

    • 这个复制操作不受缓冲模式(全缓冲、行缓冲、无缓冲)的影响

    • 缓冲模式只控制从库缓冲区到内核的刷新时机

可视化流程

五、内核空间缓冲区

内核缓冲区是由操作系统内核维护的内存区域，也称为页缓存(page cache)。

特点：

  • 位置：位于内核空间

  • 管理方：由Linux内核管理

  • 目的：缓存磁盘数据，减少实际磁盘I/O

  • 大小：动态调整，受系统内存限制

  • 持久性：默认情况下不保证立即写入磁盘(除非O_SYNC)

相关系统调用：

// 直接系统调用，绕过用户缓冲区
int fd = open("file.txt", O_WRONLY);
char buf[1024];
write(fd, buf, sizeof(buf)); // 数据进入内核缓冲区
fsync(fd); // 强制将内核缓冲区写入磁盘
close(fd);

1. open() 系统调用

int fd = open("file.txt", O_WRONLY);

  • 功能：打开（或创建）文件 file.txt，返回文件描述符 fd。

  • 参数：

    • "file.txt"：目标文件名。

    • O_WRONLY：以只写模式打开（其他常用标志包括 O_CREAT、O_TRUNC 等）。

  • 作用：绕过标准I/O库的用户态缓冲区，直接通过系统调用操作文件。

2. write() 系统调用

char buf[1024];
write(fd, buf, sizeof(buf));

  • 功能：将用户态缓冲区 buf 的 1024 字节数据写入文件。

  • 关键点：

    • 数据从用户空间拷贝到内核空间的内核缓冲区（Page Cache）。

    • 此时数据尚未写入磁盘，依赖内核的刷新机制（如定时刷盘或内存不足时）。

    • 若应用崩溃，内核可能尚未刷盘，导致数据丢失。

3. fsync() 系统调用

fsync(fd);

  • 功能：强制将文件描述符 fd 对应的内核缓冲区数据同步到磁盘。

  • 作用：

    • 确保数据持久化，即使系统崩溃也不会丢失。

    • 会阻塞直到磁盘写入完成，性能开销较大（涉及磁盘I/O）。

  • 替代方案：

    • fdatasync()：仅同步数据，不同步元数据（如修改时间），性能稍好。

    • sync()：同步所有内核缓冲区，不针对单个文件。

4. close() 系统调用

close(fd);

  • 功能：关闭文件描述符，释放资源。

  • 注意：关闭前未调用 fsync() 时，数据仍可能在内核缓冲区，存在丢失风险。

总结：数据流向

  1. 用户缓冲区 (buf) → 内核缓冲区 (Page Cache) → 磁盘。

  2. write() 只保证数据到内核缓冲区，fsync() 保证到磁盘。

应用场景

  • 关键数据持久化：如数据库事务日志、配置文件更新。

  • 性能权衡：频繁调用 fsync() 会降低性能，需根据需求平衡安全性与速度。

扩展知识

  • O_DIRECT 标志：绕过内核缓冲区，直接操作磁盘（需对齐内存和大小），但需自行管理缓存。

  • 文件系统屏障：某些文件系统（如ext4）支持屏障写入，进一步确保数据顺序和一致性。

        通过这段代码，可以理解系统调用如何直接控制数据持久化，避免依赖用户态缓冲区的延迟写入问题。

两者协作流程

  1. 写入流程：

    应用程序数据 → 用户缓冲区 → write()系统调用 → 内核缓冲区 → (异步)写入磁盘

  2. 读取流程：

    磁盘数据 → 内核缓冲区 → read()系统调用 → 用户缓冲区 → 应用程序

六、缓冲区的层级关系

  • 从应用程序buf到库缓冲区的复制是内存拷贝，无条件发生

  • 从库缓冲区到内核的传输才受缓冲模式控制

七、缓冲模式对比

特性用户缓冲区内核缓冲区
位置用户空间内核空间
管理方应用程序/库操作系统内核
大小控制应用程序可控制系统动态调整
持久性需flush到内核需sync到磁盘
典型APIstdio (fopen, fwrite)系统调用 (open, write)

八、性能优化考虑

  1. 缓冲策略选择：

    • 小量频繁I/O：使用用户缓冲区更高效

    • 大批量I/O：直接系统调用可能更好

  2. 同步控制：

    • fflush()：用户缓冲区 → 内核

    • fsync()/fdatasync()：内核 → 磁盘

    • O_SYNC/O_DSYNC：每次write都同步到磁盘

  3. 直接I/O：使用O_DIRECT标志绕过内核缓冲区，直接操作磁盘(特定场景下使用)

九、实际应用建议

  • 对于大多数应用，使用标准I/O库(用户缓冲区)是最佳选择

  • 需要严格控制写入时序时，考虑适当的同步操作

  • 高性能应用可以尝试内存映射(mmap)或直接I/O

  • 监控/proc/meminfo中的Dirty项了解待写入磁盘的内核缓冲区大小

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.pswp.cn/bicheng/89582.shtml
繁体地址，请注明出处：http://hk.pswp.cn/bicheng/89582.shtml
英文地址，请注明出处：http://en.pswp.cn/bicheng/89582.shtml

如若内容造成侵权/违法违规/事实不符，请联系英文站点网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【每日算法】专题十三_队列 + 宽搜(bfs)

【每日算法】专题十三_队列 + 宽搜(bfs)

1. 算法思路 BFS 算法核心思路 BFS&#xff08;广度优先搜索&#xff09;使用 队列&#xff08;Queue&#xff09;按层级顺序遍历图或树的节点。以下是 C 实现的核心思路和代码模板&#xff1a; 算法框架 #include <queue> #include <vector> #include <un…
阅读更多...
【动手实验】发送接收窗口对 TCP传输性能的影响

【动手实验】发送接收窗口对 TCP传输性能的影响

环境准备 服务器信息 两台腾讯云机器 t04&#xff08;172.19.0.4&#xff09;、t11&#xff08;172.19.0.11&#xff09;&#xff0c;系统为 Ubuntu 22.04&#xff0c;内核为 5.15.0-139-generic。默认 RT 在 0.16s 左右。 $ ping 172.19.0.4 PING 172.19.0.4 (172.19.0.4) …
阅读更多...
28、鸿蒙Harmony Next开发：不依赖UI组件的全局气泡提示 (openPopup)和不依赖UI组件的全局菜单 (openMenu)、Toast

28、鸿蒙Harmony Next开发：不依赖UI组件的全局气泡提示 (openPopup)和不依赖UI组件的全局菜单 (openMenu)、Toast

目录 不依赖UI组件的全局气泡提示 (openPopup) 弹出气泡 创建ComponentContent 绑定组件信息 设置弹出气泡样式 更新气泡样式 关闭气泡 在HAR包中使用全局气泡提示 不依赖UI组件的全局菜单 (openMenu) 弹出菜单 创建ComponentContent 绑定组件信息 设置弹出菜单样…
阅读更多...
让老旧医疗设备“听懂”新语言：CAN转EtherCAT的医疗行业应用

让老旧医疗设备“听懂”新语言：CAN转EtherCAT的医疗行业应用

在医疗影像设备的智能化升级中&#xff0c;通信协议的兼容性常成为工程师的“痛点”。例如&#xff0c;某医院的移动式X射线机采用CAN协议控制机械臂&#xff0c;而主控系统基于EtherCAT架构。两者协议差异导致数据延迟高达5ms&#xff0c;影像定位精度下降&#xff0c;甚至影响…
阅读更多...
ubuntu基础搭建

ubuntu基础搭建

ubuntu上docker的搭建 https://vulhub.org/zh 网站最下面找到开始使用&#xff0c;有搭建的命令//安装docker&#xff0c;连接失败多试几次 curl -fsSL https://get.docker.com | sh //验证Docker是否正确安装&#xff1a; docker version //还要验证Docker Compose是否可用&am…
阅读更多...
动态规划 + DFS + 记忆化！Swift 解 LeetCode 329 的实战笔记

动态规划 + DFS + 记忆化！Swift 解 LeetCode 329 的实战笔记

文章目录摘要描述题解答案题解代码分析代码解析示例测试及结果时间复杂度空间复杂度总结摘要 这篇文章带你用 Swift 实战一道非常经典的 DFS 记忆化搜索题目 —— LeetCode 329《矩阵中的最长递增路径》。看似一个简单的“走格子”游戏&#xff0c;实则考察了搜索顺序、剪枝策…
阅读更多...
046_局部内部类与匿名内部类

046_局部内部类与匿名内部类

一、局部内部类&#xff08;Local Inner Class&#xff09; 1.1 定义与基本概念 局部内部类是定义在方法、构造器或代码块内部的类&#xff0c;其作用域仅限于所在的局部范围&#xff08;定义它的方法、构造器或代码块&#xff09;&#xff0c;超出该范围则无法访问。 它的核心…
阅读更多...
Jenkins Pipeline 中使用 JsonSlurper 报错：cannot find current thread

Jenkins Pipeline 中使用 JsonSlurper 报错：cannot find current thread

Jenkins Pipeline 中使用 JsonSlurper 报错&#xff1a;cannot find current thread&#x1f31f; 背景⚠ 问题重现&#x1f9e0; 原因解析&#xff1a;CPS 与非 CPS 安全方法冲突✅ 解决方案一&#xff1a;使用 NonCPS 注解&#xff08;经典方案&#xff09;✅ 解决方案二&…
阅读更多...
Go 语言循环语句详解

Go 语言循环语句详解

Go 语言循环语句详解 在编程语言中&#xff0c;循环语句是实现重复执行某些代码块的关键元素。Go 语言作为现代编程语言之一&#xff0c;提供了多种循环结构来满足不同的编程需求。本文将详细讲解 Go 语言中的循环语句&#xff0c;包括 for、while 和 goto 语句&#xff0c;帮助…
阅读更多...
day30——零基础学嵌入式之进程间通信1.0

day30——零基础学嵌入式之进程间通信1.0

一、进程间通信7种方式1.传统的进程间通信方式&#xff08;1&#xff09;管道①无名管道&#xff1a;②有名管道&#xff1a;&#xff08;2&#xff09;③信号&#xff08;3&#xff09;system Ⅴ 》系统Ⅴ 进程间通信方式 inner Process Comunication④共享内存 &#xff…
阅读更多...
408考研逐题详解：2010年第33题——网络体系结构

408考研逐题详解：2010年第33题——网络体系结构

2010年第33题 下列选项中&#xff0c;不属于网络体系结构所描述的内容是&#xff08; &#xff09; A. 网络的层次 \qquad B. 每层使用的协议 \qquad C. 协议的内部实现细节 \qquad D. 每层必须完成的功能 解析 本题属于计算机网络基础知识的范畴&#xff0c;考查网络体系结构…
阅读更多...
VR 远程系统的沉浸式协作体验​

VR 远程系统的沉浸式协作体验​

在传统的远程协作中&#xff0c;团队成员往往通过二维的视频画面进行交流&#xff0c;这种方式虽然能实现基本的沟通&#xff0c;但缺乏真实感和互动性。而 VR 远程系统的出现&#xff0c;彻底改变了这一局面。戴上 VR 设备&#xff0c;员工们仿佛置身于同一个真实的办公室空间…
阅读更多...
记录DataGrip 2025.1.3破解失败后，无法重启问题修复

记录DataGrip 2025.1.3破解失败后，无法重启问题修复

记录DataGrip 2025.1.3破解失败后&#xff0c;无法重启问题修复安装过程复盘异常场景解决方式总结安装过程 在官网下载了最新版本2025.1.3。安装成功后&#xff0c;使用30天试用方式&#xff0c;打开datagrip。 复盘异常场景 网上搜索破解教程进行破解。找了一个需要现在ja…
阅读更多...
私有服务器AI智能体搭建配置选择记录

私有服务器AI智能体搭建配置选择记录

在搭建私有服务器上的AI智能体时&#xff0c;需要从多个方面进行选择和规划&#xff0c;以确保系统性能、安全性、可扩展性等方面满足需求。1. 硬件选择 服务器配置&#xff1a; CPU&#xff1a;选择高性能多核CPU&#xff08;如Intel Xeon或AMD EPYC系列&#xff09;&#xff…
阅读更多...
SDC Specical check setting的描述 - false path

SDC Specical check setting的描述 - false path

在上一篇文中描述了SDC的基本语法&#xff0c;其中关于时序异常约束并没有进行详细的描述&#xff0c;但是在正常的设计中&#xff0c;一般这种异常的设置反而是需要特别关注的&#xff0c;主要包括&#xff1a;1. 虚假路径- false path不需要满足任何时序要求的路径&#xff1…
阅读更多...
【Python练习】048. 编写一个函数，实现简单的命令行接口，接受用户输入并响应

【Python练习】048. 编写一个函数，实现简单的命令行接口，接受用户输入并响应

048. 编写一个函数，实现简单的命令行接口，接受用户输入并响应 在 Python 中，可以通过 input() 函数创建一个简单的命令行接口，接受用户输入并根据输入内容进行响应。 示例代码 def simple_command_line_interface():"""实现一个简单的命令行接口，接受用…
阅读更多...
软件工厂语境下的知识系统选型：兼顾合规性与集成深度

软件工厂语境下的知识系统选型：兼顾合规性与集成深度

在过去几十年间&#xff0c;制造业从“工匠手作”迈向“工业流水线”&#xff0c;完成了生产效率的巨大飞跃。当软件开发也面临交付复杂性、合规要求与协作成本不断上升的现实&#xff0c;“软件工厂”的理念逐步兴起。 在这场“开发现代化”的转型中&#xff0c;知识管理被重新…
阅读更多...
C语言-一维数组，二维数组

C语言-一维数组，二维数组

数组 数组的引入如果要在程序中保存一个人的年龄&#xff1f;如何保存&#xff1f; 答&#xff1a;创建一个基于int类型的变量&#xff0c;举例&#xff1a;int age 22如果要在程序中保存一个人的三门课的成绩&#xff1f;如何保存&#xff1f; 答&#xff1a;创建三个基于flo…
阅读更多...
如何区别HTML和HTML5？

如何区别HTML和HTML5？

要区分 HTML&#xff08;通常指 HTML4 及更早版本&#xff09;和 HTML5&#xff0c;主要可以从以下关键方面进行比较&#xff1a;一、文档声明区别 <!-- HTML4 文档声明 --> <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http:/…
阅读更多...
Java实战：实时聊天应用开发（附GitHub链接）

Java实战：实时聊天应用开发（附GitHub链接）

一、前置技术项目介绍&#xff1a; 项目为局域网沟通软件&#xff0c;类似内网通&#xff0c;核心功能包括昵称输入、聊天界面展示在线人数&#xff08;实时更新&#xff09;、群聊&#xff0c;也可扩展私聊、登录注册、聊天记录存储等功能&#xff0c;结尾附GitHub链接。项目涉…
阅读更多...
最新文章

Copyright @ 2022~2023