在刚刚落幕的 2025 Databricks Data + AI Summit 上,Databricks 重磅发布了多项 Lakehouse 相关功能更新。其中,面向数据湖治理场景的统一数据访问与管理方案 —— Unity Catalog,迎来了三大关键升级:全面支持 Apache Iceberg、面向业务用户的全新使用体验,以及数据治理与安全能力的持续增强

过去 Unity Catalog 更加依赖 Delta Lake,如今对 Apache Iceberg 的全面支持,意味着用户可通过 StarRocks、Trino、EMR、Flink、Spark 等多种引擎访问和共享同一份数据,真正摆脱格式锁定。同时,外部 Iceberg Catalog 联邦功能也让用户无需复制或迁移数据,即可统一治理 Glue、HMS、Snowflake 等系统中的 Iceberg 表。

对于采用多工具、多团队或多云环境的企业来说,这些能力的提升,标志着开放湖仓生态正在加速走向成熟。

作为 Lakehouse 架构中的关键基础设施,Unity Catalog 也为 Data + AI 提供了统一的数据治理与访问控制框架,打造可信、可控、可共享的数据基础,加速 AI 应用的规模化落地。

在本文中,我们将借由这条新闻,带大家认识 Unity Catalog,解释它对你的工作意味着什么,以及为什么现在正是采用更开放基础设施策略的最佳时机。

什么是 Unity Catalog ?

在了解 Unity Catalog 之前,我们需要先认识当前数据目录(Catalog)所面临的三大挑战:

首先,多数云数据平台缺乏开放的访问方式。许多云数仓采用专有表格式和元数据目录,限制了外部系统的访问与集成,且往往依赖持续运行的计算资源来支持查询,不仅成本高,也缺乏灵活性。其次,数据与 AI 资产长期割裂,形成数据孤岛,难以共享和复用。最后,缺乏统一的数据治理框架,企业难以在权限控制、安全合规、数据血缘等方面,对数据和 AI 资产进行集中管理。

Unity Catalog 正是为解决这些问题而生。它是一个统一的元数据与数据治理平台,能够集中管理数据湖和湖仓中的所有数据资产,支持跨多引擎(如 Spark、Trino、StarRocks)与多格式(如 Delta Lake、Iceberg、Hudi)的访问控制、权限管理、血缘分析和审计。通过统一治理、安全合规和高效共享,Unity Catalog 显著简化了元数据管理,并支持企业级多租户与细粒度的访问策略,是构建开放、高效、可扩展湖仓架构的关键组件。

它带来了两大核心价值:一是灵活性更强,摆脱厂商锁定,让用户真正拥有数据与元数据,自由选择最佳技术路径;二是强大的互操作性,在不同数据格式与计算引擎间实现无缝协作,尤其适配多样化的 AI 应用场景,既提升集成效率,又保障一致的用户体验。

StarRocks x Unity Catalog:打破格式壁垒,加速湖仓进化

自 Databricks 于 2024 年 6 月宣布开源 Unity Catalog 起,StarRocks 作为首批开源生态合作伙伴,积极参与生态建设,助力全球用户无缝接入开放湖仓体系。在统一治理、安全控制与多引擎互操作的基础上,StarRocks 充分发挥其高性能分析引擎的优势,成为开放数据架构中的关键计算支撑。

在 Unity Catalog 构建的开放湖仓生态中,StarRocks 提供三方面价值:

  1. 加速湖上分析:StarRocks 可通过 Iceberg REST 去查 Unity Catalog 管理的数据,支持高速、低延迟的多维即席分析,让数据无需迁移即可高效使用。

  2. 简化架构、拓展场景:通过与 Unity Catalog 的无缝集成,用户可在湖上数据上直接构建 BI 报表,减少数据搬移与 ETL 成本,提升分析效率与实时性。

  3. 推动开放生态发展:作为开源计算引擎,StarRocks 与 Unity Catalog 的互操作性增强了企业对计算引擎的选择自由,加速构建去中心化、可持续的湖仓生态系统。

StarRocks 与 Unity Catalog 的融合,不仅降低了用户在多种解决方案间的迁移门槛,推动了计算引擎的专业化与差异化发展,也进一步夯实了开源基础,打破厂商锁定,构建出一个更开放、多元、灵活的技术生态,赋能企业实现更高效、更可靠的数据分析能力。

What's Next?

如果你对 Unity Catalog 感兴趣,欢迎阅读以下文章,深入了解本次在 Data + AI Summit 2025 上发布的重磅更新详情: 👉 What's New in Databricks Unity Catalog | Data + AI Summit 2025

此外,我们还准备了一个实操 Demo,展示如何通过 Unity Catalog、Delta UniForm 与 StarRocks 实现跨引擎的无缝互操作性,欢迎体验!

https://www.bilibili.com/video/BV1KyKazNENV/?vd_source=1cb452610138142d1300dd37a6162a88

参考资料:https://www.databricks.com/blog/announcing-full-apache-iceberg-support-databricks

https://www.databricks.com/blog/whats-new-databricks-unity-catalog-data-ai-summit-2025

https://www.starrocks.io/blog/build-a-more-open-lakehouse-with-unity-catalog

https://www.databricks.com/product/unity-catalog#features

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/diannao/89077.shtml
繁体地址,请注明出处:http://hk.pswp.cn/diannao/89077.shtml
英文地址,请注明出处:http://en.pswp.cn/diannao/89077.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

电容屏触摸不灵敏及跳点问题分析

在电容屏的使用过程中,触摸不灵敏和触点不精准是极为常见且让人困扰的问题。这些问题不仅影响用户的操作体验,在一些对触摸精度要求较高的场景,如工业控制、绘图设计等领域,还可能导致严重的后果。下面我们就来深入剖析一下这两个…

小程序学习笔记:导航、刷新、加载、生命周期

在小程序开发的领域中,掌握视图与逻辑相关的技能是打造功能完备、用户体验良好应用的关键。今天,咱们就来深入梳理一下小程序视图与逻辑的学习要点,并结合代码示例,让大家有更直观的理解。 一、页面之间的导航跳转 在小程序里实…

生成树基础实验

以太网交换网络中为了进行链路备份,提高网络可靠性,通常会使用冗余链路。但是使用冗余链路会在交换网络上产生环路,引发广播风暴以及 MAC地址表不稳定等故障现象,从而导致用户通信质量较差,甚至通信中断。 为解决交换…

flex布局实例:把色子放进盒子里

目录 一、flex布局实例:把色子放进盒子里 1、基础样式 二、justify-content 属性 三、flex-direction 属性 四、align-items 属性 五、flex-wrap 属性 二、flex布局应用到常见场景 非常详细的讲解flex布局,看一看,练一练! …

Netty编解码器

目录 1、概念 2、Netty提供的编解码器类型 2.1 解码器 2.1.1 ByteToMessageDecoder 2.1.2 ReplayingDecoder 2.1.3 MessageToMessageDecoder 2.2 编码器 2.2.1 MessageToByteEncoder 2.2.2 MessageToMessageEncoder 2.3 编解码器 2.3.1 ByteToMessageCodec 2.3.2 M…

企业内部安全组网技术解析:安全通道选型、零信任架构与数据合规加密防护

一、引言:企业内部安全组网的重要性 随着企业数字化转型的深入以及远程办公需求的增加,企业内部异地组网逐渐成为企业信息技术部门关注的重要话题。如何在合规合法的前提下,保障企业内部网络连接的安全性、稳定性,并有效保护企业…

Windows 4625日志类别解析:未成功的账户登录事件

Windows 4625日志类别解析:未成功的账户登录事件 什么是Windows 4625日志? Windows 4625日志属于安全日志(Security Log) 的一部分,记录系统中未成功的账户登录尝试(Failed Logon)。它是追踪非…

3D看房实现房屋的切换

作为3D看房的补充,在这里,我们讲一下如何实现房屋的切换,我这里提供两种思路, 切换贴图,切换场景, 接下我们按照较复杂的场景切换来讲,切换贴图也就水到渠成: 初始化场景&#xf…

[Android]ANR的线程

ANR的原理是进行了超时告警,在执行一个需要被监控的任务时,注册一个超时提醒,如果很快执行好了,删除这个提醒,如果超时,这个提醒就被触发,这个超时处理是通过handler方式来调用的,这…

RLVR来做Agent任务能力增强训练

和上一篇其实有点承接 上一篇的争论其实是因为要优化agent的任务规划和实现能力的 所以有了self-learning之争 当我们说Self-learning,其实是在说什么? 其实上一篇最后时候提了一点拿RLVR来做agent的任务提升 正好今天看到了一篇应景的论文&#xf…

如何运营一个开源项目并取得较大影响力?

开源不仅是主要的软件开发方法论,还是助力快速创新、分散协作、 生态系统建设和职业发展的卓越战略。如今,无论在哪里,都离不开与 开源的互动。开源存在于你的手机、汽车和冰箱中,它使你最喜欢的节 目或电影的制作和发行成为可能&…

华为高斯数据库的数据类型

华为高斯数据库的数据类型 国产数据库华为高斯的GaussDB的数据类型 华为高斯数据库的数据类型✅ 一、数值类型(Numeric Types)✅ 二、字符类型(Character Types)✅ 三、布尔类型(Boolean Type)✅ 四、日期和…

生物实验室安全、化学品安全

zhihu.com/column/c_1922752541369800632 Docs 目录 第七章 7.1 实验室生物安全等级 7.1.1 生物安全基本概念 7.1.2 生物的危害等级 7.1.2.1 国内生物危害等级 7.1.3 实验室生物安全防护水平分级 7.2 实验室生物安全控制 7.2.1 实验室生物仪器设备安全控制 7.2.1.1 生…

【QT】第一个QT程序 || 对象树 || 编码时的注意事项

一、编写第一个 Qt 程序 1. 开发环境搭建 安装 Qt Creator(推荐使用官方在线安装器)安装 Qt 库(如 Qt 5.15.2 或 Qt 6.x)配置编译器(MinGW / MSVC / GCC) 2. 创建一个简单的 Qt GUI 应用程序 打开 Qt C…

多服务器IP白名单配置(使用redis stream实现)

应用背景 现在我有一个管理平台,可以通过代理连接到内网网站,但是这个代理服务器没有设置密码,所以需要IP白名单让指定用户才可以使用代理。 添加白名单流程图 流程描述: 登录管理平台成功后,管理平台的后台将这个登录的IP地址添加到redis,并设置过期时间为24小时redis…

Vue 3 Teleport 特性

目录 基本用法​ 搭配组件使用​ 禁用 Teleport​ 多个 Teleport 共享目标​ 延迟解析的 Teleport ​ 总结 <Teleport> 是一个内置组件&#xff0c;它可以将一个组件内部的一部分模板“传送”到该组件的 DOM 结构外层的位置去。 基本用法​ 有时我们可能会遇到这…

常用指令合集(DOS/Linux/git/Maven等)

文章目录 常用指令收集vmware 虚拟机联网设置ubuntu 常见问题设置apt 相关指令&#xff1a;gcc 编译相关指令 sqlite3VSCode 快捷键&#xff1a;收索引擎技巧&#xff08;google&#xff09;Intelideashell--LinxvimgitDOS:mavendockerkubectl 指令nginx配置redis-clientMySQLl…

ABP VNext + MassTransit:构建分布式事务与异步消息协作

ABP VNext MassTransit&#xff1a;构建分布式事务与异步消息协作 &#x1f680; &#x1f4da; 目录 ABP VNext MassTransit&#xff1a;构建分布式事务与异步消息协作 &#x1f680;&#x1f4da; 1. 背景与动机&#x1f6e0;️ 2. 环境与依赖&#x1f527; 3. 在 ABP 模块…

语义网技术

用通俗语言说语义网技术&#xff0c;以及它和现在互联网的关系 一、语义网技术&#xff1a;让网络“听懂人话”的智能升级 现有互联网就像一本巨大的“图文报纸”&#xff1a;我们人类看文章、图片能轻松理解意思&#xff0c;但计算机只能识别文字符号&#xff0c;不知道“苹…

pytorch学习—4.反向传播(用pytorch算梯度)

2. 线性模型 3.梯度下降算法 4.反向传播_哔哩哔哩_bilibili 4.1 代码复现 import torch import matplotlib.pyplot as pltx_data=[1.0,2.0,3.0] y_data=[2.0,4.0,6.0]#这里创建了一个PyTorch张量w,初始值为1.0,并且设置requires_grad=True, #这意味着在计算过程中,PyTo…