Elasticsearch 索引文档的流程是一个分布式、多阶段的过程,涉及客户端请求、路由、主副本同步及持久化等步骤,具体流程如下:

一、客户端请求与路由
 1.1 文档接收与路由计算‌
        客户端通过 REST API 发送文档写入请求,需指定索引名、文档 ID(可选)及文档内容。
Elasticsearch 根据文档 ID(或自定义 routing 值)哈希计算目标主分片位置。请求被转发到主分片所在的节点(协调节点或直接定位主节点)。
二、主分片写入与副本同步
2.1 主分片处理写入‌
        主分片节点接收到请求后:写入内存缓冲区‌:数据暂存至节点级内存缓冲区(Indexing Buffer)。
‌        记录事务日志‌:同时将操作写入分片级事务日志(Translog),确保宕机后可恢复。
2‌.2 副本分片同步‌
        主分片并行将写入请求转发至所有副本分片所在节点。
        副本分片执行相同操作(写入缓冲区 + 记录 Translog),并向主分片返回执行结果。
        所有副本分片确认成功后,主分片向客户端返回写入成功响应。
三、数据刷新与持久化
3‌.1 刷新(Refresh)生成可搜索段‌
        默认每秒触发一次刷新(可配置 refresh_interval):
        将内存缓冲区中的数据写入 Lucene 段文件(Segment)。
        新段文件打开后,文档立即可被搜索(近实时搜索)。
‌3.2 事务日志刷盘(Flush)‌
        周期性(默认 30 分钟)或 Translog 达到阈值时:
        执行 Lucene Commit,将内存中所有数据持久化到磁盘。
        清空 Translog 并创建新日志文件,释放磁盘空间。
四、段合并优化
‌        后台段合并(Merge)‌
        Lucene 自动合并多个小段文件为大段,提升查询性能。
        删除已标记删除的文档,回收磁盘空间。

阶段关键操作目标
请求路由计算文档所属主分片位置定位写入节点
主副同步写入内存缓冲区 + 记录 Translog保证数据冗余与一致性
刷新(Refresh)生成 Lucene 段文件实现近实时搜索
刷盘(Flush)持久化数据 + 清理 Translog确保数据安全存储
段合并(Merge)合并小段 + 删除失效文档优化查询性能与存储效率

        注‌:副本分片同步失败时,主分片会重试或报告错误;若主分片故障,副本分片将晋升为新主分片继续服务。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/pingmian/86093.shtml
繁体地址,请注明出处:http://hk.pswp.cn/pingmian/86093.shtml
英文地址,请注明出处:http://en.pswp.cn/pingmian/86093.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【unity】批量剔除图片四周空白像素的工具

摘要:Unity图片空白像素批量处理工具 该工具提供两种方式批量剔除图片空白像素: 静态处理类:提供TrimTexture方法,可读取纹理像素数据,计算非透明区域边界,生成裁剪后的新纹理;SaveTexture方法…

可编辑64页PPT | 基于DeepSeek的数据治理方案

荐言摘要:在数据量爆炸式增长且业务需求日益复杂的当下,企业数据治理面临着数据分散、标准混乱、价值挖掘难等诸多挑战。我们基于DeepSeek强大的智能能力,为企业量身打造创新数据治理方案。 DeepSeek凭借其卓越的自然语言处理和深度学习技术…

启用AWS VPC流日志保存到CloudWatch日志组

目标 启用VPC流日志 启用流日志 选择vpc,开始启用流日志,如下图: 设置名称和日志组,创建流日志,如下图: 参考 AWS云中的VPC启用流日志保存S3(AWS中国云)创建发布到 CloudWatc…

游戏引擎学习路径与技术栈指南

游戏引擎架构全景图(基于GAMES104 V2.2思维导图) graph TDA[基础架构] --> A1[面向数据管理]A --> A2[任务系统]A1 --> A11[ECS架构]A1 --> A12[内存优化]A2 --> A21[Job System]A2 --> A22[依赖调度]B[工具链] --> B1[编辑器框架]…

预训练大语言模型

Encoder-only model(Autoencoding model) 使用掩码语言模型(Masked Language Modeling, MLM)进行预训练输入原始语句和掩码,训练目标是预测掩码标记,一遍重建原始句子->也称为降噪目标(deno…

C++信奥赛闯关题目1

1闰年 输入一个年份,输出它是否为闰年 闰年的规则: 描述:能被4整除,并且不能被100整除的,再加上可以被400整除的 版本一:原始版 #include <iostream> #include <cmath> using namespace std; int main() {int y;cin>>y;bool x = y%4==0&&y…

Qt+OPC开发笔记(三):OPC客户端订阅特点消息的Demo

若该文为原创文章&#xff0c;转载请注明原文出处 本文章博客地址&#xff1a;https://hpzwl.blog.csdn.net/article/details/148868209 长沙红胖子Qt&#xff08;长沙创微智科&#xff09;博文大全&#xff1a;开发技术集合&#xff08;包含Qt实用技术、树莓派、三维、OpenCV…

嵌入式开发学习日志Day8(ARM体系架构——按键、蜂鸣器及中断)

一、蜂鸣器学习 代码实现&#xff1a; 二、BSP工程管理及Makefile 1、BSP工程管理 利用BSP工程管理&#xff0c;使文档显示不杂乱&#xff1b; 将这些文件分为4类&#xff0c;并保存到4个不同的文件夹里。 首先在新的工程文件夹里创建一个之后我们编写的类似led驱动&#xff0…

Linux部署Sonic前后端(详细版)(腾讯云)

系统用的是Ubuntu 22.04 LTS 1、安装Docker sudo apt update sudo apt install -y docker.io docker-compose sudo systemctl start docker sudo systemctl enable docker# 如果不想每次用 sudo&#xff0c;可以加权限 sudo usermod -aG docker $USER 2、安装 docker-compose…

腾讯云CBS:企业级云存储的性能与可靠性重构

摘要 根据Forrester 2025年网络分析与可见性&#xff08;NAV&#xff09;报告&#xff0c;东西向流量安全与加密威胁检测成为企业核心痛点&#xff08;误报率降低需求↑40%&#xff09;。腾讯云CBS作为底层存储支柱&#xff0c;通过三副本跨可用区冗余架构与毫秒级故障切换能力…

ubuntu 22.04 更换阿里源 (wsl2 参照)

步骤 1: 备份当前源列表 sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak 步骤 2: 编辑源列表文件 sudo nano /etc/apt/sources.list 步骤 3: 添加阿里云镜像源 ubuntu 阿里源地址可以在这查看 ubuntu镜像_ubuntu下载地址_ubuntu安装教程-阿里巴巴开源镜像站 …

idea中push拒绝,merge,rebase的区别

在 IntelliJ IDEA 中进行 Git 操作时&#xff0c;Push 拒绝&#xff08;Push Rejected&#xff09;、Merge 和 Rebase 是常见的冲突解决方式。它们有不同的适用场景和影响&#xff0c;下面详细说明它们的区别&#xff0c;并附上流程图帮助理解。 1. Push 拒绝&#xff08;Push …

轻松实现PDF局部擦除的技术级解决方案

在处理PDF文档时&#xff0c;我们常常会遇到这样的场景&#xff1a;想要删除某段文字、擦除一张图片&#xff0c;或者对页面内容进行局部调整。但很多编辑工具要么操作繁琐&#xff0c;要么功能受限&#xff0c;甚至还需要付费解锁核心功能。 这是一款轻便又实用的PDF编辑工具…

css color 十六进制颜色透明度

css color 十六进制颜色透明度 例&#xff1a;#FFFFFF ~~ #FFFFFF1A(10% ) 0% 为 FF10% 为 1A20% 为 3330% 为 4D40% 为 6650% 为 8060% 为 9970% 为 B380% 为 CC90% 为 E6100% 为 00

Git简介和常用命令

Git简介 Git是一款版本管理软件&#xff0c;可以在任何时间点保存文件&#xff0c;也能够恢复到以前任意时间点保存的文档&#xff0c;Git作用简单举例来说就是&#xff0c;写论文&#xff0c;有很多个版本&#xff0c;将原来的论文保存起来&#xff0c;新建一个副本&#xff…

Kafka 性能调优指南

文章目录 概述操作系统层面调优文件系统优化内存管理磁盘 I/O 优化 JVM 调优堆内存设置GC 收集器选择常见 GC 问题 Broker 端调优版本兼容性关键参数配置日志段大小调优设置原则推荐配置调优考虑因素监控命令 应用层调优客户端复用资源管理多线程消费模式 性能指标调优吞吐量优…

佰力博科技与您探讨低温真空探针台如何保养

低温真空探针台是一种用于在低温或真空环境下进行电学性能测试的精密仪器&#xff0c;其保养和维护对于确保设备的稳定运行和延长使用寿命至关重要。 一、日常清洁与检查 1、使用后应立即清洁探针台&#xff0c;尤其是探针、接口和连接器&#xff0c;避免灰尘和杂质影响精度。…

MySQL:深入总结锁机制

写在前面 在 MySQL 数据库中&#xff0c;锁机制是保障并发控制和数据一致性的关键。合理运用锁机制&#xff0c;能有效避免数据竞争&#xff0c;提升数据库性能。接下来&#xff0c;我们就深入了解 MySQL 中的各类锁。 博主总结&#xff08;注&#xff1a;针对总结的详解补充在…

AI+OT安全,让威胁情报实现主动防御

当前&#xff0c;网络犯罪组织的运作模式正日趋“企业化”&#xff0c;给全球网络安全带来了严峻挑战。企业以及各类组织机构有必要采用威胁情报驱动的防御体系&#xff08;Threat-Informed Defense, TID&#xff09;&#xff0c;将安全运营模式从被动响应彻底转向基于威胁情报…

深度剖析:UDS上下行分离隧道如何绕过主流防火墙?

&#x1f525; 深度剖析&#xff1a;UDS上下行分离隧道如何绕过主流防火墙&#xff1f; &#x1f4ca; 系统架构图 #mermaid-svg-lv5FKIvBMKPeTFuW {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-lv5FKIvBMKPeTFuW …