如果你的 MongoDB 数据量特别大(例如几十 GB、TB 级别),普通的 mongodump/mongorestore 会显得缓慢且资源消耗大,不适合生产级别大数据集。下面是当前 MongoDB 社区和企业广泛使用的几种备份方案对比和推荐:

工具是否官方适合场景优点缺点
mongodump / mongorestore✅ 是官方小数据量、开发测试、结构迁移简单易用,文档丰富速度慢、资源占用高、大数据不适合
mongodb-consistent-backup✅ 官方(老工具)副本集或分片集的大数据备份支持一致性快照,适合副本集停止维护(可替代用 mongodump + oplog)
Percona Backup for MongoDB❇️ 第三方(Percona 出品)🚀 TB级数据备份利器支持并发、压缩、分片、增量备份初始学习成本略高
mongodump --oplog + rsync/snapshot✅ + 通用半热备份,有一定容错灵活组合方式维护复杂
文件系统快照 + Oplog❌(系统级)企业环境,需高 IO 磁盘/文件系统支持几乎不影响业务,速度最快需要快照技术支持,如 LVM、ZFS

公司的数据量达到了2T以上,这里只能使用PBM进行备份

https://www.percona.com/downloads
选择对应的版本即可,如果是4.0建议选择2.0.x版本
在这里插入图片描述
所有节点使用yum安装好了以后,编写一个启动服务/etc/systemd/system/pbm-agent.service

[Unit]
Description=Percona Backup for MongoDB Agent
Wants=network.target
After=network.target mongod.service[Service]
Type=simple
# 推荐使用有权限访问MongoDB的用户,且该用户对备份目录有读写权限
# 如果 mongod 以 'mongod' 用户运行,这里也用 'mongod'
User=mongod # 核心命令:指定 pbm-agent 的路径和 MongoDB 连接 URI
# 这个 URI 必须能让 agent 连接到整个副本集
ExecStart=/usr/local/bin/pbm-agent --mongodb-uri="mongodb://user:passwd@localhost:27017/?replicaSet=rs0"  # 2.0.x以上可以写集群地址Restart=always
RestartSec=5[Install]
WantedBy=multi-user.target

然后修改所有节点的pbm配置文件/etc/pbm-config.yaml

storage:type: filesystemfilesystem:path: /data/pbm_back # 备份目录,所有节点都需要有# Point-in-Time Recovery配置,开启pitr其实就没有必要使用增量备份了,相当于开启了自动持续增量备份
pitr:enabled: trueoplogSpanMin: 10  # oplog至少保留10天compression: gzip# 备份压缩
backup:compression: gzipcompressionLevel: 6

完成执行如下命令,启动服务,所有节点都需要

pbm config --file /etc/pbm-config.yamlsystemctl daemon-reload
# 启动服务
systemctl start pbm-agent

在备份节点上执行备份命令进行第一次全备测试

pbm backup# 完成后执行,查看备份结果,如图表示成功
pbm list

在这里插入图片描述
接下来将命令加入crontab一周备份一次即可

[root@localhost pbm_all]# crontab -l
# mongo全量备份+PITR
0 0 * * 6 /usr/local/bin/pbm backup >> /data/pbm_all/logs/backup.log 2>&1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/diannao/88812.shtml
繁体地址,请注明出处:http://hk.pswp.cn/diannao/88812.shtml
英文地址,请注明出处:http://en.pswp.cn/diannao/88812.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【LeetCode#第167题】两数之和Ⅱ

给你一个下标从 1 开始的整数数组 numbers &#xff0c;该数组已按 非递减顺序排列 &#xff0c;请你从数组中找出满足相加之和等于目标数 target 的两个数。如果设这两个数分别是 numbers[index1] 和 numbers[index2] &#xff0c;则 1 < index1 < index2 < numbers…

Python(一)实现一个爬取微信小程序数据的爬虫+工程化初步实践

文章目录 前言用Charles 抓包 iOS 微信小程序在Mac端和iOS端安装Charles 自签名证书Mac端iOS端 能抓到Safari浏览器的包但是抓不到微信小程序的包直接在iOS 上抓包的App如何抓取Android 7.0 以上/Harmony OS微信小程序包 Python 项目工程化pip 切换为国内镜像源工程化参考脚手架…

uview ui request get / post 传参含params和json数据的分析和使用

背景。单独写了controller方法去配合移动端的接口调用。但有的接口与pc端类似。于是进行了复用。但接口得复制不是。 uview js request 文档 注意迪三个参数是header 后端接口GET方法 调用代码截图 浏览器调试 总结。 复制之前的api接口。为了方便复用底层实现。接口类型…

用 pnpm + TurboRepo,构建多项目高效开发体系

在现代前端项目日益复杂的今天&#xff0c;我们越来越多地面对一个场景&#xff1a;多个项目共享逻辑、组件和依赖&#xff0c;而维护和构建效率却在不断拉垮。这种情况下&#xff0c;传统项目结构的痛点就显现无遗。 从我亲身实践来看&#xff0c;选择 pnpm TurboRepo 构建 …

Pytest 使用命令行参数执行指定环境的脚本—— Python 实践

&#x1f9fe; 一、项目背景 在自动化测试中&#xff0c;我们经常需要根据不同的运行环境&#xff08;如测试环境和生产环境&#xff09;来执行测试脚本。本文将详细介绍如何通过命令行参数来指定运行环境&#xff0c;并使用 Python 和 pytest 框架实现这一功能。 &#x1f6e…

利用可控验证码位数实现拒绝服务攻击(DoS)风险与线程模型分析

一、背景介绍&#xff1a;验证码接口中的潜在 DoS 漏洞 在渗透测试过程中&#xff0c;常见验证码接口支持传入“验证码位数”参数&#xff0c;表面看是业务可配置&#xff0c;实则若未做上限控制&#xff0c;极易成为资源消耗型 DoS 攻击入口。 &#x1f9ea; 测试场景&#…

Spring Cloud Feign 整合 Sentinel 实现服务降级与熔断保护

Spring Cloud Feign 整合 Sentinel 实现服务降级与熔断保护 在微服务架构中&#xff0c;服务之间的调用往往依赖 Feign&#xff0c;而服务调用的稳定性又至关重要。本文将介绍如何将 Feign 与 Sentinel 结合使用&#xff0c;实现服务的容错保护&#xff08;如降级与熔断&#…

宠物医院系统的设计与实现(springBoot版)

一、开题报告 一、本选题研究的意义和背景&#xff08;理论与现实意义&#xff09;&#xff1a; 背景&#xff1a;随着人们生活水平的提高&#xff0c;宠物饲养愈发普遍&#xff0c;宠物医院的需求也日益增长。挂号方式主要依赖现场挂号&#xff0c;导致宠物主人需要长时间排队…

SOCKSv5 协议通信的完整阶段与报文格式详解

SOCKSv5 协议的通信通常分为以下几个主要阶段&#xff1a; 方法协商阶段 (Method Negotiation)方法依赖的子协商阶段 (Method-Dependent Sub-negotiation) - 本例为用户名/密码认证请求发送阶段 (Request Sending)请求回复阶段 (Request Reply)数据传输阶段 (Data Transfer) …

​​Git提交代码Commit消息企业级规范

​​Git Commit 类型完整指南​​ 类型用途示例​​feat​​新增功能&#xff08;面向用户的功能性变更&#xff09;git commit -m "feat: 添加用户登录功能"​​fix​​修复 Bug&#xff08;解决代码中的问题&#xff09;git commit -m "fix: 修复首页加载崩溃…

TiDB AUTO_RANDOM 超大主键前端精度丢失排查:JavaScript Number 限制与解决方案

前端长整型主键“失踪”记 ——一次 ArrayIndexOutOfBoundsException 的排查全过程 一、事故现场 最近在维护 SMS-OFFICE 后台系统时&#xff0c;运维同事反馈&#xff1a; 点击「短信详情」或「邮箱账号详情」时&#xff0c;偶尔弹窗空白、日志报错&#xff1a; java.lang.A…

在postgresql使用mybatis动态创建数据库分区表

在postgresql使用mybatis动态创建数据库分区表 1. 整体描述2. 前期准备2.1 创建主表语句2.2 创建分表语句2.3 xxl-job 3. 代码实现3.1 mapper.xml层3.2 mapper.java层3.3 service接口层3.4 service实现层3.5 controller层 4. 总结 1. 整体描述 在java下实现&#xff1a;创建分…

Python网安-zip文件暴力破解

目录 源码在这里 需要的模块 准备一个密码本和需要破解的ZIP文件 一行一行地从密码文件中读取每个密码。 核心部分 注意&#xff0c;需要修改上段代码注释里的这段具有编码问题的代码&#xff1a; 源码在这里 https://github.com/Wist-fully/Attack/tree/cracker 需要的…

聊聊Golang开发工程师

诞生背景 Go由Google三位顶尖工程师&#xff08;Ken Thompson、Rob Pike、Robert Griesemer&#xff09;设计&#xff0c;目标是解决两大行业痛点&#xff1a; 硬件利用率不足&#xff1a;多核CPU普及&#xff0c;但C/C等语言难以高效利用并发能力&#xff1b; 开发效率低下&a…

机器学习6——线性分类函数

线性分类函数 分类问题的两种决策方法&#xff1a; 概率方法&#xff1a;通过计算后验概率进行分类。优点是在概率分布已知的情况下可以得到最优解&#xff0c;缺点是实际中概率密度通常未知&#xff0c;需要通过大量数据估计。判别方法&#xff1a;假设判别函数的形式已知&…

Sentinel(三):Sentinel熔断降级

一、Sentinel熔断概念介绍 官方文档网址&#xff1a;circuit-breaking | Sentinel 1、Sentinel熔断基本介绍 除了流量控制以外&#xff0c;对调用链路中不稳定的资源进行熔断降级也是保障高可用的重要措 施之一。一个服务常常会调用别的模块&#xff0c;可能是另外的一个远程服…

PostgreSQL 主从集群搭建

下面是 PostgreSQL 主从复制&#xff08;Streaming Replication&#xff09;环境的安装与配置指南&#xff0c;适合在两台或多台服务器之间构建一主一从&#xff08;或一主多从&#xff09;的高可用读写分离系统。 环境准备 角色主机名/IP说明主库192.168.1.10可读写&#xff…

STM32安全固件升级:使用自定义 bootloader 实现SD卡固件升级,包含固件加密

前言 在 STM32 嵌入式开发中&#xff0c;Bootloader 是一个不可或缺的模块。ST 公司为 STM32 提供了功能完备的官方 Bootloader&#xff0c;支持多种通信接口&#xff08;如 USART、USB DFU、I2C、SPI 等&#xff09;&#xff0c;适用于标准的固件更新方案。 然而&#xff0c…

一步部署APache编译安装脚本

接下来我来介绍以下编译安装的好处 编译安装的优点与缺点 一、优点 高度可定制 可根据实际需求启用或关闭特性&#xff08;如 Apache 的模块、MySQL 的引擎等&#xff09;。 灵活控制编译参数、优化性能&#xff08;如 --enable-xxx、--with-xxx&#xff09;。 更高的性能…

[Linux]mmap()函数内存映射原理及用法

一、内存映射 内存映射&#xff0c;简而言之就是将用户空间的一段内存区域映射到内核空间&#xff0c;映射成功后&#xff0c;用户对这段内存区域的修改可以直接反映到内核空间&#xff0c;同样&#xff0c;内核空间对这段区域的修改也直接反映用户空间。那么对于内核空间和用…