上一篇我们通过 INFINI Gateway 进行了索引数据迁移,对索引迁移结果进行了初步且直观的校验--对比索引的文档数是否一致。今天介绍个实实在在的数据比对方法,通过网关对比索引文档的内容在两个集群是否一致。话不多说,就拿上次迁移的两个索引开整。

比对步骤

操作非常简单,拢共分两步:

  1. 准备网关配置
  2. 数据比对

比对实战

1. 准备网关比对数据的配置

老样子去 github 拿就完了,戳这里。下载完之后,稍作修改.

修改文件开头的变量

  1 env:2   LR_GATEWAY_HOST: 127.0.0.1:80013   LR_GATEWAY_API_HOST: 127.0.0.1:90004   ELASTICSEARCH_ENDPOINT: http://127.0.0.1:92005   ELASTICSEARCH_ENDPOINT2: http://127.0.0.1:92016   SUITES_NAME: index-docs-diff

修改集群资源相关的配置

 36 elasticsearch:37   - name: source38     enabled: true39     endpoints:40       - $[[env.ELASTICSEARCH_ENDPOINT]]41     basic_auth:42       username: elastic43       password: goodgoodstudy4445   - name: target46     enabled: true47     endpoints:48       - $[[env.ELASTICSEARCH_ENDPOINT2]]49     basic_auth:50       username: admin51       password: 14da41c79ad2d744b90c

pipeline 部分修改要对比的索引名称为 infinilabs 和 test1,是的一次对比两个。

pipeline:- name: index_diff_serviceauto_start: truekeep_running: falseprocessor:- dag:mode: wait_allparallel:- dump_hash: #dump es1's docsort_document_fields: trueindices: "infinilabs,test1"scroll_time: "10m"elasticsearch: "source"
#              query_string: "_id:c8es70pu46lgfdgmja9g-1646117763293610802-2"
#              fields: "doc_hash"output_queue: "source_docs"batch_size: 1000slice_size: 1
#              hash_func: "xxhash64"- dump_hash: #dump es2's docindices: "infinilabs,test1"scroll_time: "10m"
#              fields: "doc_hash"
#              query_string: "_id:c8es70pu46lgfdgmja9g-1646117763293610802-2"batch_size: 1000slice_size: 1
#              hash_func: "xxhash64"elasticsearch: "target"output_queue: "target_docs"

2. 执行数据比对

# 数据比对的配置文件名为 index-diff.yml
./gateway-mac-arm64 -config index-diff.yml

比对结果显示, infinilabs 和 test1 两个索引的数据在两个集群一致。如果数据不一致会是什么情况呢?这个任务交给屏幕前的你了,有问题欢迎找我交流。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/pingmian/92896.shtml
繁体地址,请注明出处:http://hk.pswp.cn/pingmian/92896.shtml
英文地址,请注明出处:http://en.pswp.cn/pingmian/92896.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Codeforces Round 1042 (Div. 3)

ABCD 略E注意到每个操作最多执行一次,ifa[i]!b[i],要么a[i]^a[i1]要么a[i]^b[i1]G设消除1~i的数的操作次数为f[i],可以推出f[i]2*f[i-1]1,那么消除1~i的数的分数乘的数为g[i],g[i]g[i-1]*g[i-1]*i s虽然很大&#xff0…

AJAX:让你的网页“静悄悄”变聪明,体验丝滑升级

大家好,今天想聊聊一个让网页“活”起来的小秘密——AJAX。你可能遇到过这种情况:点个按钮,页面就刷新,等得心急火燎。但用了AJAX的网站,比如购物车更新或搜索建议,数据嗖嗖就来了,整个页面却纹…

【iOS】Block基础知识和底层探索

文章目录前言Block的声明和创建问题引入Block的底层结构Block的执行流程Block的创建与存储Block的传递与调用Block的捕获机制捕获局部变量捕获全局变量小结Block的类型__block修饰符__block变量的包装结构体block的实例结构体block的执行逻辑Block循环引用造成的原因解决方法小…

1.Ansible 自动化介绍

1-Ansible 自动化介绍 Ansible 自动化介绍 手动执行任务和自动化执行任务 手动执行任务的麻烦事: 很容易漏掉某个步骤,或者不小心执行错步骤,而且很难验证每个步骤是不是真的按预期完成了。管理一大堆服务器时,很容易出现配置…

2025年云手机场景适配的行业观察

2025年的市场中,云手机品牌百花齐放,不同品牌在性能、功能和场景适配性上的差异日益显著。随着云计算技术的快速发展,云手机已从 尝鲜工具 演变为游戏、办公、企业运营等场景的刚需工具。现市面上也有着更多的云手机品牌,结合实测…

Date/Calendar/DateFormat/LocalDate

作用说明Date用于定义时间,提供date对象间的比较方法Calendar(日历类),提供对时间的运算方法DateFormat是接口,它的实现类SimpleDateFormat用来规范时间输出形式LocalDate,在JDK1.8之后引入,方便了对时间的运算方法介绍Date常用方…

在Python 3.8环境中安装Python 3.6兼容包的方法

在Python 3.8环境中安装Python 3.6兼容包的方法 用户的需求是:在Python 3.8环境中重新安装原本为Python 3.6设计的包。这通常涉及兼容性问题,因为Python 3.8可能引入了一些语法或API变更,导致旧包无法直接运行。以下是逐步解决方案&#xff…

三种DuckDB电子表格插件的union all查询性能对比

我选取了最稳定、兼容性最好的三种:官方excel对应函数read_xlsx()、官方spatial对应函数st_read()、rusty_sheet对应函数read_sheet。 1.建立两个包含前50万和后54万的xlsx文件,用于比较。利用官方excel的copy()to进行。 D copy (from v1 order by l_ord…

Python 中使用多进程编程的“三两”问题

文章目录一、简介二、选择合适的启动方式三、手动终止所有的进程小结一、简介 这里简单介绍在Python中使用多进程编程的时候容易遇到的情况和解决办法,有助于排查和规避某类问题,但是具体问题还是需要具体分析,后续会补充更多的内容。 二、…

Ansible部署应用

目录Ansible概述1:什么是Ansible2:Ansible的架构组成3:Ansible与SaltStack的对比安装部署Ansible服务1:系统环境设置2:安装Ansible(第一台)2:配置主机清单3:修改Ansible配…

疏老师-python训练营-Day44预训练模型

浙大疏锦行 知识点回顾: 预训练的概念常见的分类预训练模型图像预训练模型的发展史预训练的策略预训练代码实战:resnet18 作业: 尝试在cifar10对比如下其他的预训练模型,观察差异,尽可能和他人选择的不同尝试通过ctrl进…

AI入门学习--如何写好prompt?

写好Prompt(提示词)是驾驭AI模型的核心技能。以下是结合测试工程师需求的 结构化方法论 和 黄金模板一、prompt设计金字塔终极心法: Prompt 对AI的测试需求文档,需像设计测试用例一样:可执行:明确输入输出…

Linux编程 IO(标准io,文件io,目录io)

标准IO C语言标准IO概述标准IO&#xff08;Standard Input/Output&#xff09;是C语言中用于处理文件和数据流的一组函数库&#xff0c;定义在<stdio.h>头文件中。与低级IO&#xff08;如read/write&#xff09;相比&#xff0c;标准IO提供了缓冲机制&#xff0c;提高了数…

C# WPF本地Deepseek部署

模型下载地址 using LLama; using LLama.Common; using System; using System.IO; using System.Threading.Tasks; using System.Windows; using System.Windows.Input;namespace YF_Talk {public partial class MainWindow : Window{private LLamaWeights _model;private LLa…

【Abp.VNext】Abp.Vnext框架模块学习

1、Abp.Vnext-集成 Volo.Abp.Core2、Abp.vNext-Web模块 Volo.Abp.AspNetCore.MVC框架&#xff08;framework文件夹&#xff09; 七、Abp.vNext-应用模块-Identity身份认证 业务模块&#xff08;modules文件夹->identity&#xff09; 1、添加领域模型 Volo.Abp.Identity.Doma…

【完整源码+数据集+部署教程】火柴实例分割系统源码和数据集:改进yolo11-rmt

背景意义 研究背景与意义 在计算机视觉领域&#xff0c;实例分割技术作为一种重要的图像处理方法&#xff0c;近年来得到了广泛的关注和应用。实例分割不仅能够识别图像中的物体类别&#xff0c;还能精确地分割出每个物体的轮廓&#xff0c;提供更为细致的视觉信息。这一技术在…

飞算JavaAI云原生实践:基于Docker与K8s的自动化部署架构解析

一、飞算JavaAI详细介绍 1.1 飞算JavaAI飞算JavaAI是飞算云智推出的一款革命性Java开发辅助工具&#xff0c;它通过人工智能技术深度赋能传统软件开发流程&#xff0c;特别为大学生课程设计、毕业设计等实践教学环节提供了强有力的技术支持。在当前高校计算机相关专业教学中&am…

小程序打通美团核销:解锁到店综合业态私域密码,赋能6000+门店破局增长

数字化浪潮奔涌而来&#xff0c;棋牌室、台球厅、亲子乐园等线下综合业态面临经营转型的关键节点。小程序与美团核销功能的深度耦合&#xff0c;正成为撬动私域流量的核心杠杆&#xff0c;为超6000家门店打通了一条低成本、高转化的经营快车道。过往经营模式中&#xff0c;线上…

Linux Shell:Nano 编辑器备忘

打开文件 sudo nano /etc/apt/sources.list选中多行&#xff0c;然后删除 用方向键将光标定位到要删除的起始位置按下 Alt A 设置锚点用方向键选择要删除的区域 (以上 3 步是为了选中文本)用 Ctrl K(剪切) 或 Alt D(直接删除) 全选并删除 按下 Alt \ 将光标移动到文件开头…

常见的设计模式(2)单例模式

目录 一、版本一&#xff1a;禁用构造与拷贝 二、版本二&#xff1a;注册析构函数/嵌套垃圾回收 &#xff08;1&#xff09;使用atexit注册程序结束时的函数 &#xff08;2&#xff09;使用对象嵌套垃圾回收 三、版本三&#xff1a;线程安全 四、版本四&#xff1a;编译器…