一、Circuit Breaker 简介

Elasticsearch 是基于 JVM 的搜索引擎,其内存管理十分重要。为了避免单个操作或查询耗费过多内存导致节点不可用,Elasticsearch 引入了 Circuit Breaker(熔断器)机制。当内存使用达到熔断器预设阈值时,相应操作会立即被中止,并返回明确的错误信息。

注意:
Circuit Breaker 并不能完全跟踪 Elasticsearch 所有内存使用情况,因此并不能提供 100% 完整的内存保护。

二、Elasticsearch 中的 Circuit Breaker 类型与配置

Elasticsearch 提供了多个类型的熔断器,以限制不同场景的内存使用:

1. 父级熔断器(Parent Circuit Breaker)

父级熔断器用于控制整体内存使用,设定所有子熔断器的整体上限:

  • indices.breaker.total.use_real_memory(静态)
    是否使用真实内存,默认为 true

  • indices.breaker.total.limit(动态)
    总体熔断器内存上限:

    • use_real_memory=false,默认值为 JVM Heap 的 70%;
    • use_real_memory=true,默认值为 JVM Heap 的 95%。

推荐配置:

PUT _cluster/settings
{"persistent": {"indices.breaker.total.limit": "90%"}
}

2. Field Data 熔断器

控制字段数据缓存加载时的内存使用:

  • indices.breaker.fielddata.limit(动态)
    默认为 JVM Heap 的 40%。

  • indices.breaker.fielddata.overhead(动态)
    内存预估系数,默认为 1.03

推荐配置(默认即可):

PUT _cluster/settings
{"persistent": {"indices.breaker.fielddata.limit": "40%","indices.breaker.fielddata.overhead": 1.03}
}

3. 请求熔断器(Request Circuit Breaker)

用于控制单个请求期间数据结构内存:

  • indices.breaker.request.limit(动态)
    默认 JVM Heap 的 60%。

  • indices.breaker.request.overhead(动态)
    默认 1

推荐配置:

PUT _cluster/settings
{"persistent": {"indices.breaker.request.limit": "60%"}
}

4. 在途请求熔断器(In-flight Requests Circuit Breaker)

限制传输层与 HTTP 请求的内存使用:

  • network.breaker.inflight_requests.limit(动态)
    默认为 JVM Heap 的 100%。

  • network.breaker.inflight_requests.overhead(动态)
    默认系数为 2

推荐配置:

PUT _cluster/settings
{"persistent": {"network.breaker.inflight_requests.limit": "90%","network.breaker.inflight_requests.overhead": 2}
}

5. 脚本编译熔断器(Script Compilation Circuit Breaker)

限制单位时间内内联脚本的编译数量:

  • script.max_compilations_rate(动态)
    默认每 5 分钟 150 次。

当脚本缓存频繁淘汰(cache_evictions)时,应扩大脚本缓存:

PUT _cluster/settings
{"persistent": {"script.cache.max_size": "2000"}
}

6. 正则表达式熔断器(Regex Circuit Breaker)

限制 Painless 脚本中正则表达式的复杂性:

  • script.painless.regex.enabled(静态)
    可选值:

    • limited(默认):启用,但限制复杂度。
    • true:完全启用,无复杂度限制。
    • false:禁用正则。
  • script.painless.regex.limit-factor(静态)
    默认值为 6,表示脚本输入长度的倍数作为最大匹配长度限制。

推荐配置:

script.painless.regex.enabled: limited
script.painless.regex.limit-factor: 6

7. EQL 查询熔断器(EQL Circuit Breaker)

针对序列查询的内存控制:

  • breaker.eql_sequence.limit(动态)
    默认 JVM Heap 的 50%。

  • breaker.eql_sequence.overhead(动态)
    默认为 1

  • breaker.eql_sequence.type(静态)
    熔断器类型:

    • memory(默认):启用。
    • noop:禁用。

推荐配置:

PUT _cluster/settings
{"persistent": {"breaker.eql_sequence.limit": "40%","breaker.eql_sequence.overhead": 1}
}

8. 机器学习熔断器(Machine Learning Circuit Breaker)

控制机器学习模型推理的内存使用:

  • breaker.model_inference.limit(动态)
    默认 JVM Heap 的 50%。

  • breaker.model_inference.overhead(动态)
    默认 1

  • breaker.model_inference.type(静态)
    熔断器类型:

    • memory(默认):启用。
    • noop:禁用。

推荐配置(默认即可):

PUT _cluster/settings
{"persistent": {"breaker.model_inference.limit": "50%"}
}

三、最佳实践和建议

  • 避免设置过高
    熔断器的阈值设置过高,可能导致节点 OOM 崩溃。

  • 合理分配熔断器比例
    父级熔断器一般不超过 JVM Heap 的 90%。各子熔断器在此基础上再进行分配。

  • 动态调整与监控
    Elasticsearch 支持大部分熔断器动态修改,实时监控并按需调整是维护集群稳定性的关键。

  • 关注日志与监控系统
    使用 Elasticsearch 的日志系统及监控工具,及时发现并分析 Circuit Breaker 错误,合理调整内存阈值。

四、总结

Circuit Breaker 是 Elasticsearch 集群运行中的重要保护机制。深入理解各类熔断器的作用及配置方法,合理设置各项阈值,能有效防止 Elasticsearch 由于内存资源耗尽而宕机,从而提升整个集群的稳定性和性能表现。

运维人员应结合业务场景,动态监控并适时调整熔断器配置,以保持 Elasticsearch 集群稳定高效地运行。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/diannao/92868.shtml
繁体地址,请注明出处:http://hk.pswp.cn/diannao/92868.shtml
英文地址,请注明出处:http://en.pswp.cn/diannao/92868.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ARM-定时器-定时器函数封装配置

以TIMER7为例&#xff0c;对定时器函数进行封装注意事项&#xff1a;GD32中TIMER7是高级定时器&#xff0c;相关详细请参考上一篇文章。main.c//main.c#include "gd32f4xx.h" #include "systick.h" #include <stdio.h> #include "main.h" …

【日志】unity俄罗斯方块——边界限制检测

Bug修复记录 项目场景 尝试使用Unity独自制作俄罗斯方块&#xff08;也许很没有必要&#xff0c;网上随便一搜就有教程&#xff09; 问题描述 俄罗斯方块的边缘检测出错了&#xff0c;对方块进行旋转后&#xff0c;无法到达最左侧或者最下侧的位置&#xff0c;以及其他问题。演…

C++ string:准 STL Container

历史STL 最初是一套独立的泛型库&#xff08;Alexander Stepanov 等人贡献&#xff09;&#xff0c;后来被吸纳进 C 标准库&#xff1b;std::basic_string 则是早期 C 标准&#xff08;Cfront / ARM 时代&#xff09;就存在的“字符串类”&#xff0c;并非 STL 原生物。std::st…

Golang学习笔记--语言入门【Go-暑假学习笔记】

目录 基础语法部分相关概念 基础语法部分概念详解 可见性 导包 内部包 运算符 转义字符 函数 风格 函数花括号换行 代码缩进 代码间隔 花括号省略 三元表达式 数据类型部分相关概念 数据类型部分概念详解 布尔类型 整型 浮点型 复数类型 字符类型 派生类型…

linux中kill 命令使用详解

在Linux系统里&#xff0c;kill命令的主要功能是向进程发送信号&#xff0c;以此来控制进程的运行状态。下面为你详细介绍它的使用方法&#xff1a; 基础语法 kill [选项] [进程ID]进程ID也就是PID&#xff0c;可通过ps、pgrep或者top等命令来获取。 常用信号及其含义 信号可以…

Nginx 安装与 HTTPS 配置指南:使用 OpenSSL 搭建安全 Web 服务器

Nginx 安装与 HTTPS 配置指南:使用 OpenSSL 搭建安全 Web 服务器 一、Nginx安装 1. 安装依赖项 sudo yum groupinstall "Development Tools" -y # 非必须 sudo yum install pcre pcre-devel zlib zlib-devel openssl openssl-devel -y2.下载Nginx wget http://n…

写个 flask todo app,简洁,实用

- 此项目虽然看起来简单&#xff0c;实际上&#xff0c;修改成自己喜欢的样子&#xff0c;也是费时间的。 - 别人都搞AI 相关的项目&#xff0c;而我还是搞这种基础的东西。不要灰心。 - 积累。不论项目大小&#xff0c;不论难易&#xff0c;只看是否有用。项目地址&#xff1a…

4麦 360度定位

要在 ESP32 上用 4 个麦克风实现 360 声源定位&#xff0c;通常思路是通过 时延估计&#xff08;TDOA&#xff09; 几何计算&#xff0c;核心流程&#xff1a;阵列布置将 4 个麦克风等间距布置成正方形&#xff08;或圆形&#xff09;。记阵列中心为原点&#xff0c;麦克风编号…

使用yolov10模型检测视频中出现的行人,并保存为图片

一、使用yolov10模型检测视频中出现的行人&#xff0c;并保存为图片&#xff0c;detect_person.py代码如下&#xff1a;from ultralytics import YOLOv10 import glob import os import cv2 import argparsedef detect_person(videoPath, savePath):if not os.path.exists(save…

现在希望用git将本地文件crawler目录下的文件更新到远程仓库指定crawler目录下,命名相同的文件本地文件将其覆盖

git checkout main git pull origin main $source “D:\黑马大数据学习\crawler” $dest Join-Path (Get-Location) “crawler” if (-not (Test-Path $dest)) { New-Item -ItemType Directory -Path $dest | Out-Null } Copy-Item -Path $source* -Destination $dest -Recur…

网络调制技术对比表

&#x1f4ca; 网络调制技术全维度对比表​调制技术​​简称​​频谱效率​​抗噪性​​功率效率​​复杂度​​关键特性​​典型应用场景​​幅度键控​ASK低差高低/低电路简单&#xff0c;易受干扰遥控器、光通信(OOK)​频移键控​FSK低-中中中中/中抗噪较好&#xff0c;频谱…

优化 Elasticsearch JVM 参数配置指南

一、概述 Elasticsearch 是基于 JVM 的搜索和分析引擎。JVM 参数的合理配置直接影响着 Elasticsearch 的性能和稳定性。尽管 Elasticsearch 已经提供了默认的 JVM 设置&#xff0c;但在某些特定场景下&#xff0c;我们可能需要进行适当的调整和优化。 本文将详细讲述如何安全、…

Python, Go 开发如何进入心流状态APP

要开发一款基于Python和Go语言、帮助用户进入“心流”状态&#xff08;高度专注、高效愉悦的心理状态&#xff09;的应用&#xff0c;需结合两种语言的技术优势&#xff08;Go的高并发与性能、Python的灵活性与AI生态&#xff09;及心流触发机制&#xff08;清晰目标、即时反馈…

一文详解手机WiFi模块与连接

目录 1 硬件模块 1.1 Wifi射频模 1.2 电源管理模块 2 软件与协议栈 2.1 系统服务层 2.2 认证与协议处理 3 连接流程 3.1 开启WiFi与扫描 3.2 选择网络与认证 3.3 连接与IP分配 4 特殊连接方式 4.1 WPS快速连接 4.2 热点模式&#xff08;AP模式&#xff09; 4.3 U…

Java 网络编程详解:从基础到实战,彻底掌握 TCP/UDP、Socket、HTTP 网络通信

作为一名 Java 开发工程师&#xff0c;你一定在实际开发中遇到过需要与远程服务器通信、实现客户端/服务端架构、处理 HTTP 请求、构建分布式系统等场景。这时&#xff0c;Java 网络编程&#xff08;Java Networking&#xff09; 就成为你必须掌握的核心技能之一。Java 提供了丰…

Java面试题(中等)

1. 计算机网络传输层有哪些协议&#xff1f;分别适用于什么场景&#xff1f;TCP协议(传输控制协议)​&#xff1a;面向连接、可靠传输&#xff0c;流量控制、拥塞控制。适用于要求数据完整性的场景&#xff0c;如文件传输、网页浏览、电子邮件等。UDP协议 (用户数据报协议)​&a…

Apache 消息队列分布式架构与原理

消息队列 基本概念 定义 消息队列&#xff08;Message Queue, MQ&#xff09;是一种分布式中间件&#xff0c;通过异步通信、消息暂存和解耦生产消费双方的机制&#xff0c;提供消息的顺序性保证、可靠投递和流量控制能力&#xff0c;广泛应用于微服务解耦、大数据流处理等场景…

ModernBERT如何突破BERT局限?情感分析全流程解析

自2018年推出以来&#xff0c;BERT 彻底改变了自然语言处理领域。它在情感分析、问答、语言推理等任务中表现优异。借助双向训练和基于Transformer的自注意力机制&#xff0c;BERT 开创了理解文本中单词关系的新范式。然而&#xff0c;尽管成绩斐然&#xff0c;BERT 仍存在局限…

股票Level2逐笔成交及十档订单簿分钟级Tick历史行情数据详细解析

本地股票数据处理与分析实战指南 在量化投资与金融数据分析领域&#xff0c;高效处理本地存储的股票数据是核心能力之一。本文将从数据类型定义、解析流程及实际应用角度&#xff0c;系统介绍如何基于CSV文件管理股票分钟数据、高频Tick数据、逐笔数据、Level2历史行情等多样化…

面向互联网2C业务的分布式类Manus Java框架

本文介绍了阿里巴巴推出的分布式类ManusAgent框架——ali-langengine-dflow&#xff0c;旨在解决现有Agent架构在互联网2C业务场景中的局限性。文章从背景出发&#xff0c;分析了当前主流Agent架构&#xff08;如Manus、字节TARS、AutoGLM&#xff09;存在的问题&#xff0c;如…