在数据驱动的应用中,分页是不可或缺的功能。然而,当数据量达到百万甚至千万级别时,传统基于 LIMIT OFFSET 的分页方式会遭遇严重的性能瓶颈,即“深分页”问题。本文将剖析其根源并提供主流的优化策略。


问题根源:LIMIT OFFSET 为何会慢?

我们最常用的分页查询语句如下:

-- 查询第10001页,每页10条数据
SELECT * FROM products ORDER BY id LIMIT 10 OFFSET 100000;

这条SQL的执行逻辑并非直接定位到第100,001条记录。MySQL的实际处理过程是:

  1. 从存储引擎中读取满足条件的前 100010 (OFFSET + LIMIT) 条记录。
  2. 在服务层(Server Layer)对这些记录进行排序。
  3. 抛弃前面的 100000 条记录。
  4. 返回最终的 10 条记录。

OFFSET 值越大,MySQL需要扫描、加载并最终抛弃的行数就越多,这导致了巨大的I/O和CPU资源浪费,是性能下降的直接原因。


优化策略

1. 延迟关联 (Deferred Join)

延迟关联的核心思想是先通过覆盖索引快速定位到目标页的主键ID,然后再关联原表获取完整的行数据,从而减少对主表数据的扫描。

  • 实现方式

    -- 先通过覆盖索引快速定位ID,再进行关联
    SELECT p1.*
    FROM products AS p1
    INNER JOIN (-- 子查询仅在索引上操作,速度很快SELECT id FROM products ORDER BY id LIMIT 10 OFFSET 100000
    ) AS p2 ON p1.id = p2.id;
    
  • 优点:保留了跳转任意页面的功能,性能相较于原始方法有显著提升。

  • 缺点:SQL语句更复杂;当OFFSET值极大时性能仍会下降。

2. 键集分页 (Keyset Pagination)

键集分页,或称“书签”法,是目前性能最优的方案。它摒弃了OFFSET,通过上一页最后一条记录的唯一键值来定位下一页的起始位置。

  • 实现方式

    假设我们按自增id排序,上一页返回的最后一条记录id100000

    -- 不使用OFFSET,而是利用上一页的id进行定位
    SELECT * FROM products
    WHERE id > 100000
    ORDER BY id ASC
    LIMIT 10;
    
  • 优点:查询性能恒定,不受分页深度影响,速度极快。

  • 缺点:无法直接跳转到指定页码,仅适用于“上一页/下一页”或无限滚动场景。需要一个唯一且有序的排序列。

3. 业务限制

从产品层面限制用户能够访问的最大页数(例如100页)。在多数场景下,用户很少会浏览非常靠后的页面,引导用户使用更精确的筛选条件是更有效的方式。

  • 优点:实现简单,从根本上规避了技术难题。
  • 缺点:牺牲了部分功能,不适用于必须允许访问所有数据的场景。

总结

策略优点缺点适用场景
延迟关联功能完整,性能提升显著SQL复杂,深度分页仍有瓶颈需要跳转页码的传统分页
键集分页性能最佳且稳定无法跳页无限滚动、上一页/下一页
业务限制实现简单,规避问题功能受限搜索结果等多数常规列表

结论:在设计分页功能时,应优先考虑键集分页方案以获得最佳性能。如果必须支持跳转任意页码,延迟关联是一个有效的折中选择。根据实际业务需求选择最合适的策略,是解决深分页问题的关键。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/news/919649.shtml
繁体地址,请注明出处:http://hk.pswp.cn/news/919649.shtml
英文地址,请注明出处:http://en.pswp.cn/news/919649.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

漫谈《数字图像处理》之平滑

在数字图像处理中,平滑(Smoothing) 的核心目标是降低图像噪声、模糊细节或简化纹理,本质是通过 “局部邻域运算” 对像素值进行 “平均化” 或 “规整化”,让图像整体更 “平缓”。形态学平滑与高斯平滑、均值平滑等其…

机器学习之数据预处理学习总结

在机器学习中,数据预处理是模型训练前至关重要的环节,直接影响模型的性能和准确性。通过本次学习,我系统掌握了数据预处理的核心方法与工具,现将主要内容总结如下:一、缺失值处理缺失值是实际数据中常见的问题&#xf…

在完全没有无线网络(Wi-Fi)和移动网络(蜂窝数据)的环境下,使用安卓平板,通过USB数据线(而不是Wi-Fi)来控制电脑(版本2)

在完全没有无线网络(Wi-Fi)和移动网络(蜂窝数据)的环境下,要实现用安卓手机通过USB数据线控制电脑,核心思路是:利用USB数据线创建一個纯粹的、本地的有线网络连接。 这不仅是可行的,…

Ubuntu22.04配置网络上网

前言 安装Ubuntu系统后,有时会遇到无法联网、无法使用浏览器的问题。然而当宿主机已连接网络时,虚拟机通常也能联网,需要进行一些配置,现在就以Ubuntu22.04为例。 VMware配置打开虚拟网络编辑器 启动VMWare点击编辑,并…

网络协议之TCP和UDP

写在前面 本文来看下TCP和UDP协议。 我们接触这两个协议最多的应该就是在面试中了,经典题目就是“TCP和UDP有什么区别?”,而最常得到的答案就是TCP是面向连接的,而UDP是面向无连接的。 那么这里的连接到底是什么呢?难…

Qt音乐播放器项目实践:本地持久化与边角问题处理

本音乐播放器完整项目源码(包含各个按钮的图片文件): ly/Project-Code - Gitee.com 一.本地持久化 请注意,学习此部分之前需要读者具有一定的Mysql基础。如果读者能够接受无法本地持久化,那么可以跳过这部分内容,直接去看边角问题处理。我…

基于NB-IoT技术的宠物定位跟踪系统设计#基于STM32\物联网\单片机技术的宠物定位跟踪系统

基于NB-IoT技术的宠物定位跟踪系统设计#基于STM32\物联网\单片机技术的宠物定位跟踪系统在设计基于NB-IoT技术的宠物定位跟踪系统时,首先明确了系统分为感知层、网络层和应用层三个部分。在感知层,考虑到需要获取宠物位置和运动状态,选用GPS定…

【入门级-算法-3、基础算法:递归法】

递归是一种非常重要的算法思想,它指的是函数调用自身的过程。递归通常包含两个主要部分:基线条件(终止条件)和递归条件(调用自身的条件)。 下面通过例子来理解递归算法: 计算阶乘 阶乘的递归定义…

【CS创世SD NAND征文】存储芯片在工业电表中的应用与技术演进

【CS创世SD NAND征文】存储芯片在工业电表中的应用与技术演进1.工业电表的市场背景2.技术方案分析3.核心技术特性3.1.主控芯片:APM32F465VET63.3.存储芯片:CSNP4GCR01-DPW3.3.1. 基本概述3.3.2. 核心特性3.3.3. 优势特点3.3.4 四大管理算法4.存储芯片性能…

建筑施工遮挡场景漏检率↓76%:陌讯动态融合算法实战解析

原创声明 本文为原创内容,技术参数及架构解析引用自《陌讯技术白皮书》,未经授权禁止转载。 一、行业痛点:建筑施工安全监控的 "看得见" 与 "看不准" 建筑施工场景的安全监控长期面临双重挑战:一方面&…

【LeetCode题解】LeetCode 209. 长度最小的子数组

【题目链接】 209. 长度最小的子数组 【题目描述】 【题解】 方法一:滑动窗口 本题可以使用双指针算法,定义两个指针l和r分别表示子数组的开始位置和起始位置,sum数组存储的从l到r区间内所有元素的和。初始状态下,l和r都指向下…

2025-08-21 Python进阶6——迭代器生成器与with

文章目录1 迭代器与生成器1.1 迭代器1.1.1 基本使用1.1.2 手动迭代(带异常处理)1.1.3 自定义迭代器1.2 生成器1.2.1 工作原理1.2.2 斐波那契数列示例1.3 推导式1.3.1 列表推导式1.3.2 字典推导式1.3.3 集合推导式1.4.4 元组推导式(生成器表达…

C++——C++重点知识点复习2(详细复习模板,继承)

目录 模板 函数模板 类模板 非类型模板参数 模板的特化 函数模板特化 类模板的特化 为什么普通函数可以分离? 继承 继承概念 基类和派生类对象赋值转换(切割,切片) 隐藏 派生类的默认成员函数 .复杂的菱形继承及菱形…

python 项目编号 2025821 有关于中英文数据的收集、处理

python专栏记录:前言 批量读取单词 JSON 文件 → 解析出单词、释义、例句、短语 → 数据清洗(去掉特殊符号) → 同步更新到 MySQL 数据库。 内容 import json import pymysql import re import time from pymysql.converters import escape_s…

Document Solutions .NET Bundle 8.2.0

Document Solutions .NET Bundle 8.2.0MESCIUS 的 Document Solutions .NET Bundle 是一套完整的 API 和查看工具,可增强文档处理并提高效率。它包含 Excel、Word、PDF 和图像文档,以及 PDF 查看器、数据查看器和图像查看器的标准许可证。它将强大的 .NE…

在职老D渗透日记day20:sqli-labs靶场通关(第27关)get报错注入 过滤select和union ‘闭合

5.27.第27关 get报错注入 过滤select和union 闭合function blacklist($id) { $id preg_replace(/[\/\*]/,"", $id); //strip out /* $id preg_replace(/[--]/,"", $id); //Strip out --. $id preg_replace(/[#]/,"", $id); //Strip out #. $…

Go 并发编程-channel

channel 文章目录channel简介基本概念类型表示法值表示法操作的特性初始化通道接收元素值Happens before发送值例1核心组件关键执行顺序输出示例(可能顺序)设计要点例2例3关闭通道长度与容量单向通道主要用途增强代码表达性和安全性(最重要的…

开源和免费一样吗?以商城系统为例为您分析~

开源和免费并不完全一样,二者在核心定义、权利范围和实际应用中存在显著区别,具体可以从以下几个方面理解: 1. 核心定义不同开源(Open Source): 指软件的源代码是公开可获取的,任何人都可以查看…

CMOS知识点 MOS管饱和区电流公式

知识点16&#xff1a;同上篇一样&#xff0c;MOS管主要有3个工作区域&#xff1a;截止区&#xff08;Cut-off Region&#xff09;&#xff1a; < &#xff0c;没有沟道形成&#xff0c;几乎没有电流。线性区/三极管区&#xff08;Triode Region&#xff09;&#xff1a; &g…

【集合框架LinkedList底层添加元素机制】

在 Java 集合框架中&#xff0c;LinkedList 与 ArrayList 是两种截然不同的线性表实现。如果说 ArrayList 像一个可以伸缩的“盒子阵列”&#xff0c;那么 LinkedList 就像一条由“节点”串联而成的“双向链条”。今天&#xff0c;我们将深入 LinkedList 的源码&#xff0c;一步…