亲爱的社区小伙伴们,Apache Doris 3.0.6 版本已于 2025 年 06 月 16 日正式发布。 该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。

  • GitHub 下载

  • 官网下载

行为变更

  • 禁止 Unique 表使用时序 Compaction
  • 存算分离场景下 Auto Bucket 单分桶容量调整为 10GB

新特性

Lakehouse

  • 支持访问 AWS S3 Table Buckets 中的 Iceberg 表格式
    • 详情请参考文档:Iceberg on S3 Tables

存储

  • 对象存储访问支持 IAM Role 授权 适用于导入/导出、备份恢复及存算分离场景
    • 详情请参考文档

新增函数

  • json_extract_no_quotes
    • 详情请参考文档
  • unhex_null
    • 详情请参考文档
  • xpath_string
    • 详情请参考文档
  • str_to_map
    • 详情请参考文档
  • months_between
    • 详情请参考文档
  • next_day
    • 详情请参考文档
  • format_round
    • 详情请参考文档

改进

导入

  • 引入黑名单机制:避免 Routine Load 将元信息分发至不可用 BE 节点
  • 提高负载优先级阈值load_task_high_priority_threshold_second 默认值增大

主键模型

  • 减少冗余日志输出

存储优化

  • 精简 Compaction Profile 及日志
  • 优化调度策略提升 Compaction 吞吐量

存算分离

  • 启动优化:加速 File Cache 初始化
  • 查询加速:优化 File Cache 查询性能
  • 元数据获取优化:解决 get_version 导致的性能瓶颈
  • 对象回收加速:提升存算分离模式垃圾回收效率
  • 稳定性提升:优化对象存储重试策略
  • Profile 细化:增强 Tablet/Segment Footer 维度统计
  • Schema Change 容错:默认启用 New Tablet Compaction 规避 -230 错误

Lakehouse

Catalog 增强
  • Hive Catalog 支持分区缓存 TTL 控制(partition.cache.ttl-second
    • 详情参考文档:元数据缓存
  • 支持 Hive 表 skip.header.line.count 属性
  • 兼容 org.openx.data.jsonserde.JsonSerDe 格式的 Hive 表
    • 详情参考文档:文本格式
  • Paimon 版本升级至 1.0.1
  • Iceberg 版本升级至 1.6.1
功能扩展
  • 支持阿里云 OSS-HDFS Root Policy 功能
  • 方言兼容:返回 Hive 格式查询结果
    • 详情参考文档:SQL 转换器

异步物化视图

  • 内存优化:降低透明改写内存占用

查询优化器

  • 分桶剪枝性能提升
  • Lambda 表达式增强:支持引用闭包外部 Slot

查询执行

  • TopN 查询加速:优化存算分离场景性能
  • 函数扩展substring_index 支持变量参数
  • 地理信息函数:新增 ST_CONTAINS/ST_INTERSECTS/ST_TOUCHES/ST_DISJOINT

核心组件

  • 内存追踪优化:高并发场景性能提升约 10%
  • 审计日志增强:通过 audit_plugin_max_insert_stmt_length 限制 INSERT 语句长度
    • 详情请参考文档:审计插件
  • SQL 转换器控制:新增会话变量 sql_convertor_configenable_sql_convertor_features
    • 详情请参考文档:SQL 转换器

缺陷修复

导入

  • 修复 BE 事务清理失败问题
  • 优化 Routine Load 任务报错准确性
  • 禁止向 disable_load=true 节点分发元信息任务
  • 修复 FE 重启后消费进度回退
  • 修复 Group Commit 与 Schema Change 冲突导致的 Core Dump
  • 解决 S3 Load 使用 HTTPS 协议报错

主键模型

  • 修复竞争导致的主键重复问题

存储

  • 解决 CCR 与磁盘均衡竞争
  • 修复默认分区 Key 未持久化问题
  • CCR 支持 Rollup 表
  • 修复 cooldown_ttl=0 边界问题
  • 解决数据 GC 与 Publish 竞争导致数据丢失
  • 修复 Delete Job 分区剪枝失效

存算分离

  • 修复 Schema Change 阻塞 Compaction
  • 解决 storage_vault_prefix 为空时对象回收失败
  • 修复 Tablet Cache 导致的查询性能问题
  • 消除残留 Tablet Cache 引起的性能抖动

Lakehouse

Export 修复
  • 解决 FE 内存泄漏
  • 避免 FE 死锁
Catalog 修复
  • JDBC Catalog 支持组合条件下推
  • 修复阿里云 OSS Paimon 表 Deletion Vector 读取
  • 支持含逗号的 Hive 表分区值
  • 修正 MaxCompute Timestamp 列类型解析
  • Trino Catalog 支持显示 information_schema 系统表
文件格式
  • 修复 LZO 压缩格式读取失败
  • 兼容旧版 ORC 文件
  • 修正 ORC 复杂类型解析错误

异步物化视图

  • 修复同时指定 start time 与立即触发模式时的少刷新问题

查询优化器

  • 修复 Lambda 表达式改写错误
  • 解决 Group By 常量键规划失败
  • 修正常量折叠逻辑
  • 补全系统表信息
  • 修复 NULL Literal 创建 View 的列类型错误

查询执行

  • 解决 JSON 导入非法值导致 BE Core
  • 修复 Intersect 输入 NULL 常量结果错误
  • 修正 Variant 类型谓词错误执行
  • 修复 get_json_string JSON Path 非法时的结果错误
  • 对齐 MySQL 函数行为(JSON_REPLACE/INSERT/SET/ARRAY)
  • 解决 array_map 空参数 Core
  • 修复 Variant 转 JSONB 异常 Core
  • 修复 explode_json_array_json_outer 函数缺失
  • 对齐 percentilepercentile_array 结果
  • 优化 UTF8 编码函数行为(url_encode/strright/append_trail_char_if_absent)

其他

  • 修复高并发下审计日志丢失
  • 解决动态分区建表导致元数据回放失败
  • 避免 Global UDF 重启丢失
  • 对齐 MySQL View 元数据返回格式

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/diannao/88536.shtml
繁体地址,请注明出处:http://hk.pswp.cn/diannao/88536.shtml
英文地址,请注明出处:http://en.pswp.cn/diannao/88536.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

安全帽检测数据集简介(约2万张图片)

安全帽检测数据集简介(约2万张图片) 📦 已发布目标检测数据集合集(持续更新)安全帽检测数据集简介(约2万张图片)📁 数据集概况🖼️ 数据样本展示 YOLOv8 训练实战&#x…

RJ45 网口实现千兆传输速率(1Gbps)的原理,涉及物理层传输技术、线缆标准、信号调制及网络协议等多方面的协同设计。以下从技术维度展开详细解析:

一、千兆以太网的标准与物理层基础 1. 标准规范 千兆以太网遵循 IEEE 802.3ab(针对双绞线)和 IEEE 802.3z(针对光纤)标准,其中 RJ45 接口对应双绞线场景,核心是通过四对双绞线(CAT5e/CAT6 线缆…

Node.js爬虫 CheerioJS ‌轻量级解析、操作和渲染HTML及XML文档

简介 ‌ CheerioJS ‌ 是一个专为 Node.js 设计的轻量级库&#xff0c;用于解析、操作和渲染 HTML 及 XML 文档&#xff0c;语法类似 Jquery。 安装 npm install cheerio 示例 const cheerio require("cheerio");const html <html><head><tit…

华为运维工程师面试题(英语试题,内部资料)

华为运维工程师面试题(英语试题,内部资料) 一、英文自我介绍,重点突出自己运维经验(10分) 二、短语翻译(英译中)(15*3分=45分) 1. Data is a collection of un-organized facts, which can include words, numb ers, images, and sounds. 1. 数据是未经组织的事…

【赵渝强老师】使用mydumper备份MySQL

MySQL在备份方面包含了自身的mysqldump工具&#xff0c;但其只支持单线程工作&#xff0c;这就使得它无法迅速的备份数据。而mydumper作为一个实用工具&#xff0c;能够良好支持多线程工作&#xff0c;这使得它在处理速度方面十倍于传统的mysqldump。其特征之一是在处理过程中需…

华为云 Flexus+DeepSeek 征文|华为云单机部署 Dify-LLM 开发平台全流程指南【服务部署、模型配置、知识库构建全流程】

华为云 FlexusDeepSeek 征文&#xff5c;华为云单机部署 Dify-LLM 开发平台全流程指南【服务部署、模型配置、知识库构建全流程】 文章目录 华为云 FlexusDeepSeek 征文&#xff5c;华为云单机部署 Dify-LLM 开发平台全流程指南【服务部署、模型配置、知识库构建全流程】前言1、…

✨通义万相 2.1(Wan2.1)环境搭建指南:基于 CUDA 12.4 + Python 3.11 + PyTorch 2.5.1 GPU加速实战

&#x1f680;【超详细】基于 CUDA 12.4 Python 3.11 构建 Wan2.1 项目的集成推理环境&#xff08;含 PyTorch 2.5.1 GPU 安装教程&#xff09; 本文将一步一步带你搭建一个可用于构建和运行 Wan2.1 的深度学习环境&#xff0c;完全兼容 CUDA 12.4&#xff0c;并基于官方镜像 …

PROFIBUS DP转ETHERNET/IP在热电项目中的创新应用

在热电项目中&#xff0c;多种设备的高效协同是保障能源稳定供应的关键。PROFIBUS DP与ETHERNET/IP两种工业通信协议因特性不同而应用场景各异。通过协议转换技术实现JH-PB-EIP疆鸿智能PROFIBUS DP转ETHERNET/IP&#xff0c;可整合西门子PLC与电力仪表、变频器等设备&#xff0…

精准把脉 MySQL 性能!xk6-sql 并发测试深度指南

在数据库性能测试领域&#xff0c;xk6-sql凭借其强大的功能和灵活性&#xff0c;成为众多开发者和测试人员的得力工具。它能够模拟高并发场景&#xff0c;精准测试数据库在不同负载下的性能表现。然而&#xff0c;在一些网络受限的环境中&#xff0c;实现xk6-sql的离线安装以及…

【文件】Linux 内核优化实战 - fs.inotify.max_user_instances

目录 一、参数作用与原理1. 核心功能2. 应用场景 二、默认值与影响因素1. 默认配置2. 影响因素 三、调整方法与示例1. 查看当前值2. 临时修改&#xff08;生效至系统重启&#xff09;3. 永久修改&#xff08;修改配置文件&#xff09;4. 合理值建议 四、常见报错与解决方案1. 报…

c++系列之特殊类的设计

&#x1f497; &#x1f497; 博客:小怡同学 &#x1f497; &#x1f497; 个人简介:编程小萌新 &#x1f497; &#x1f497; 如果博客对大家有用的话&#xff0c;请点赞关注再收藏 &#x1f31e; 仅在堆上创建对象的类 将类的构造函数&#xff0c;拷贝构造私有,防止在栈上生…

SpringBoot的国际化

国际化&#xff08;internationalization&#xff09;是设计容易适应不同区域要求的产品的一种方式。它要求从产品中抽离所有地域语言元素。换言之&#xff0c;应用程序的功能和代码设计考虑了在不同地区运行的需要。开发这样的程序的过程&#xff0c;就称为国际化。 那么当我…

prometheus+grafana+Linux监控

prometheusgrafanaLinux监控 环境说明 操作前提&#xff1a; 先去搭建Docker部署prometheusgrafana...这篇文章的系统 Docker部署prometheusgrafana...的参考文章&#xff1a; Docker部署prometheusgrafana…-CSDN博客 Linux部署docker参考文章&#xff1a; 02-Docker安装_doc…

文档处理控件Aspose.Words教程:在.NET中将多页文档转换为单个图像

在Aspose.Words for .NET 25.6版本中&#xff0c;我们引入了一项新功能&#xff0c;允许您将多页文档导出为单个光栅图像。当您需要将文档作为单个可视文件共享或显示时&#xff0c;此功能非常有用。 Aspose.Words for .NET 25.6 的新功能 在 25.6 版之前&#xff0c;将多页文…

vuex4.0用法

VUEX 状态管理&#xff0c;多个组件有共享数据的时候&#xff0c;就叫状态管理 什么情况下会用到vuex , 如果你不知道vuex的情况也能完成你的需求&#xff0c;就说你的项目中不需要用到状态管理。 组件层级比较复杂的时候&#xff0c;还是用组件传值的方式来传值&#xff0c;…

2025.6.24总结

今天发生了两件事&#xff0c;这每件事情都足以影响我的工作状态。 1.团队中有人要转岗 这算是最让我有些小震惊的事件了。我不明白&#xff0c;那个同事干得好好的&#xff0c;为啥会转岗&#xff0c;为啥会被调到其他团队。虽然团队有正编&#xff0c;有od,但我自始自终觉得…

状态模式详解

概述 结构设计类似责任链模式&#xff0c;但是在各个状态进行遍历的过程中&#xff0c;更注重的是条件的判断&#xff0c;只有符合条件的状态才能正常匹配进行处理。条件不成功的会立即切换到下一个状态。 有限状态机 状态机一般指的是有限状态机&#xff08;FSM&#xff1a…

Lua 调试(Debug)

Lua 调试(Debug) 引言 Lua 是一种轻量级的编程语言&#xff0c;广泛应用于游戏开发、嵌入式系统、脚本编写等领域。在 Lua 开发过程中&#xff0c;调试是确保程序正确运行的重要环节。本文将详细介绍 Lua 调试的基本方法、常用工具以及调试技巧&#xff0c;帮助开发者提高编程…

Windows安装Emscripten‌/emsdk(成功)

安装git安装python 不要自行下载版本&#xff0c;先卸载其他版本的python。 使用管理员打开cmd&#xff0c;输入python3&#xff0c;直接跳转到应用商店&#xff0c;安装即可。 为什么一定要这么安装&#xff1f;好像是跟路径有关。 下载emsdk git clone https://github.c…

AI网页部署在本地_windows

用bolt.new写了一个网页&#xff0c;下载ZIP至本地 以下是在 Windows 上本地运行你用 Node.js 搭建的网页服务&#xff0c;并在浏览器中访问的常见流程&#xff1a; 1、安装 Node.js 访问官网 Node.js — Run JavaScript Everywhere &#xff0c;下载适合 Windows 的 LTS 版本…