作为 Apache Flink 社区备受瞩目的年度盛会之一,由阿里云承办的 Flink Forward Asia 2025 于 7 月 3 日在新加坡正式拉开帷幕。

From Real-Time Data Analytics to Real-Time AI,Flink 生态全面拥抱 AI

本次大会上,Apache Flink 中文社区发起人、Apache Paimon PMC Member、阿里云开源大数据平台负责人王峰带来了演讲《From Real-Time Data Analytics to Real-Time AI》。王峰表示,伴随着 Agentic AI 的兴起与发展,实时数据与实时 AI 相结合,正在成为 AI 大规模落地生产应用的关键环节。

我们认为 AI Agent 的未来必定是工业化的,除了用户触发的 AI Agent,将来会有更多 Agent 应用是由系统触发的,比如在线交易、网站点击、车辆行驶状态、IoT 设备接收到的变化等等,这类 AI Agent 应用对计算规模和稳定性提出了更高的要求,也需要实时数据处理与实时 AI 处理的深度融合。”

为此,Apache Flink 社区正式发起全新的子项目 Flink Agents。Flink Agents 是专为事件驱动型的 AI 智能体(System-Triggered Agent)打造的 Agent 编程框架。依托于 Flink 流式引擎内核,Flink Agents 天然具备大规模、分布式、实时数据处理能力,以及成熟的状态管理、一致性保障与容错恢复能力,在此基础上,Flink Agents 提供了开发 Agentic AI 系统所必需的 LLM、Memory、Tool、Prompt 等关键概念的封装,以及动态执行计划、循环执行、共享状态、可观测性等能力。目前,Flink Agents 项目正由阿里云、Confluent、Ververica、LinkedIn 等团队联合贡献,将于今年 9 月左右发布首个 MVP 版本。

无数据,不 AI,多模态数据对大模型发展的价值日益凸显。传统的“数据清洗→特征提取→模型推理”的离散链路开发效率低下,且会带来数据血缘断裂、运维复杂度陡增等问题。Apache Flink 2.1 正式集成 AI Function,支持通过 Flink SQL 将模型注册为元数据中的可管理对象,支持原生 AI Function 调用,开发者可直接在 SQL 中通过 ML_PREDICT 内置函数调用大模型服务,进而实现基于 Flink SQL 完成数据清洗、分析处理到 AI 推理的全链路实时计算。

Flink 2.0:存算分离,迈向云原生架构

从最初的流处理框架到全球流计算的事实标准,Flink 在性能优化和稳定性提升的路上持续升级。王峰介绍,Apache Flink 2.0 创新性地中提出了一种全新的“解耦式状态管理架构(Disaggregated State Management)”,将状态存储与计算任务分离,利用廉价的对象存储来共享数据,从而实现更灵活的资源调度、更高的可扩展性和更轻量稳定的容错能力。

Flink 2.0 从架构上根本解决了长久以来快照消耗大、状态恢复慢、状态和计算捆绑造成成本高的问题,标志着 Flink 在分布式流处理系统状态管理架构上的重大突破,也代表着 Flink 向云原生架构演进的重要里程碑据悉,该项研究成果《Disaggregated State Management in Apache Flink® 2.0 》由 Apache Flink 社区、阿里云实时计算 Flink 团队以及多位学术界研究人员共同完成,已被数据库领域顶级会议 VLDB 2025 正式接收。

Paimon:面向AI时代的多模态统一湖存储

Apache Paimon PMC 主席、Apache Flink PMC 成员李劲松分享了 Apache Paimon 的最新进展。Paimon 是一个流批一体的存储系统,与 Flink 结合构建Streaming Lakehouse 架构。在生态兼容方面,得益于 Iceberg V3发布的 Deletion Vectors 能力,用户可以将 Iceberg 数据通过 Snapshots 实时同步到 Paimon,并保证分钟级别的查询延时。同时面向 AI 时代的多模态数据存储,Paimon 集成了 Lance 文件格式,创新设计支持大体积 Blob(二进制大对象)的高效存储,完美适配音视频等非结构化数据场景。在列文件的随机访问、添加列数据方便也具有极强的性能。Paimon 已经实现广泛的应用,在阿里巴巴集团内部,Paimon 处理了数百 PB 量级的数据,单表每秒处理高达 4000 万行,实现了数据及时性提升一小时的目标。此外,Paimon 还成功应用于 vivo、小米、字节跳动和 Shopee 等企业,展示了其在实时数据湖和多模态数据存储的强大能力。

阿里云将全托管的 Paimon 集成到了数据湖构建 DLF 产品中,针对 Paimon 进行智能存储优化,存储成本降低 30% 以上,查询性能提升2倍以上。同时 DLF 还可以无缝对接多种计算引擎,实现一体化的元数据管理。在本次峰会上,DLF 宣布最新的 Paimon Catalog 在新加坡和雅加达地区开放公测,用户可以直接申请试用。

Fluss:面向实时数据分析与AI负载的流表存储系统

Apache Flink PMC 成员伍翀也分享了 Fluss 项目的最新进展。Fluss 是由阿里巴巴研发和开源的流表存储系统,专为现代分析和 AI 工作负载而设计。Fluss 创新性地将列式存储与流式更新能力融入流存储,并与 Flink 等流计算引擎深度集成,同时与主流 Lakehouse 格式如 Paimon 和 Iceberg 进行一体化设计,能显著降低实时数仓建设成本,提升数据开发效率。它通过统一的流处理和批处理能力,结合列式存储、分区裁剪等优化技术,实现了高效的数据读写和零数据复制,显著提升了数据处理效率。

自2024年12月开源以来,Fluss 社区持续活跃,吸引了来自字节跳动、蚂蚁金服、小米、eBay、腾讯、Dream11 等公司的开发者参与共建。2025年6月,阿里巴巴正式将 Fluss 捐赠给 Apache 软件基金会,标志着其迈入更加开放、中立的发展阶段,也为 AI 时代的实时数据基础设施建设奠定坚实基础。

本次大会也请到了国际权威咨询机构 Forrester 副总裁 Mike Gualtieri ,他表示:Apache Flink 作为实时数据处理的事实标准,为企业构建了支持 AI 的中枢神经系统。通过实时数据流,企业能够整合多种数据源,支持事件驱动的架构,并构建实时 AI 代理和应用程序。这也印证了 Flink 社区的发展方向“The Future of AI is Real-Time”。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/bicheng/88911.shtml
繁体地址,请注明出处:http://hk.pswp.cn/bicheng/88911.shtml
英文地址,请注明出处:http://en.pswp.cn/bicheng/88911.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

车道偏离预警(LDW)功能介绍

车道偏离预警(LDW)功能介绍 LDW功能 通过摄像头监测前方车道线,当车辆偏离车道线时,系统发出报警提醒。 系统框图报警条件 最早报警线最迟报警线报警临界线 设置在 最早/最迟报警线 之间接口定义 输入/输出系统算法 横向偏离速度模…

软考(软件设计师)计算机网络-网络层

obsidian做markdown笔记太爽了,康奈尔模板笔记看起来舒服,CSDN试了几种方式,不支持,只能贴图了,将就看吧😏(狗头保命)工作原理图解 #mermaid-svg-e5Tgpt26jUftujKn {font-family:&qu…

nginx反向代理实现跨域请求

记录一个项目中遇到的跨域请求问题,解决跨域问题无非几种办法:1、后端解决,推荐的做法,可以看我之前写的文章,fastadmin的后台配置跨域;2、前端配置proxy代理(开发环境用)&#xff1…

利用Wisdom SSH高效搭建CI/CD工作流

在软件开发流程中,CI/CD工作流对于提升效率与确保质量起着关键作用。Wisdom SSH作为一款强大工具,其官网为ssh.wisdomheart.cn,借助AI助手能大幅简化CI/CD工作流的搭建过程。假设服务器已完成基础配置,下面为您介绍如何利用Wisdom…

深度学习-循环神经网络RNN

文章目录序列模型循环神经网络案例词的表示输出的表示矩阵运算表示交叉熵损失时间反向传播算法BPTT梯度消失与梯度爆炸GRULSTM总结序列模型 循环神经网络 st是上一个隐层的输出,体现序列数据之间有很强的关联性。 案例 > S0是初始输入,一般是0&#…

【Linux网络编程】Socket - TCP

目录 V1版本 - Echo Server 初始化服务器 启动服务器 客户端 一些BUG与问题 解决服务器无法一次处理多个请求的问题 多进程版本 多线程版本 线程池版本 V2版本 - 多线程远程执行命令 V1版本 - Echo Server 初始化服务器 TCP大部分内容与UDP是相同的,我们…

知识图谱构建简单分享

最近系统性地学习了知识图谱构建的关键技术,并结合医疗领域知识,完成了一个医疗知识图谱项目的实践。以下是整理的项目架构,欢迎交流指正。说明:当前项目实际实现主要应用了数据预处理、模型设计与预训练、模型优化与测试等核心技…

MCU中的系统控制器(System Controller)是什么?

MCU中的系统控制器(System Controller)是什么? 在微控制器(MCU)中,系统控制器(System Controller)是一个关键模块,负责管理和协调MCU内部的核心功能,确保系统…

【Datawhale夏令营】用AI做带货视频评论分析

文本分类、文本聚类 基础库: pandas, sklearn功能: 商品识别、情感分析、评论聚类商品识别: 视频文本信息,预测推广商品名称 & 情感分析:四个维度(情感倾向、用户场景、用户疑问、用户建议&#xff09…

[Meetily后端框架] AI摘要结构化 | `SummaryResponse`模型 | Pydantic库 | vs marshmallow库

第3章:摘要数据结构(Pydantic库) 欢迎回来! 在之前的第2章:API文档中,我们知道API网关提供了端点 而API文档准确告诉我们如何与这些端点通信,包括需要发送的数据格式和期望接收的数据格式。 …

深度学习 tensor及其相关操作

目录 Tensor 概念 数据类型 创建tensor 基本创建方式 1、 torch.tensor() 2、torch.Tensor() 3、torch.IntTensor() 等 创建线性张量和随机张量 1、创建线性张量 2、创建随机张量 切换设备 类型转换 与 Numpy 数据转换 1、张量转 Numpy 2、Numpy 转张量 tenso…

如何将FPGA设计的验证效率提升1000倍以上(4)

本文为系列文章的完结篇。用户应用设计中的信号,在经历编译器的多次迭代优化之后,在FPGA芯片内部运行时,可能已经被重新命名、“改头换面”或“机里机气”。要想以人工经验进行追踪,构建目标寄存器信号与RTL设计源码之间的映射关系…

Linux驱动11 --- buildroot杂项驱动开发方法

目录 一、Buildroot 1.1介绍 文件系统 1.一个完整的操作系统需要包含大量的文件 2.在嵌入式开发中目前应用最广泛的文件系统制作工具就是 buildroot,busybox 3.buildroot 制作文件系统(了解) 二、杂项驱动编程 1.1 驱动编程做的内容 2.2…

Unity物理系统由浅入深第三节:物理引擎底层原理剖析

Unity物理系统由浅入深第一节:Unity 物理系统基础与应用 Unity物理系统由浅入深第二节:物理系统高级特性与优化 Unity物理系统由浅入深第三节:物理引擎底层原理剖析 Unity物理系统由浅入深第四节:物理约束求解与稳定性 Unity 物理…

Docker一键安装中间件(RocketMq、Nginx、MySql、Minio、Jenkins、Redis)脚步

1、Docker安装RocketMq 2、Docker安装Nginx 3、Docker安装MySql 4、Docker安装Minio 5、Docker安装jenkins 6、Docker安装Redis 1、Docker安装RocketMq #!/bin/bash# 定义变量 NAMESRV_CONTAINER"rocketmq-namesrv" BROKER_CONTAINER"rocketmq-broker&quo…

WPF学习笔记(27)科学计算器

科学计算器1. 前端界面2. 功能代码3. 效果展示1. 前端界面 <Window x:Class"Cal.MainWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://schemas.microsoft.com/winfx/2006/xaml"xmlns:d"http:/…

【Linux系列】unzip file 命令

博客目录掌握 unzip -o 命令&#xff1a;高效解压并覆盖文件的完整指南一、unzip 命令基础二、-o 选项的核心作用三、典型应用场景四、与其他选项的组合使用五、注意事项与风险防范六、替代方案与高级技巧掌握 unzip -o 命令&#xff1a;高效解压并覆盖文件的完整指南 在日常的…

1965–2022年中国大陆高分辨率分部门用水数据集,包含:灌溉用水、工业制造用水、生活用水和火电冷却

1965–2022年中国大陆高分辨率部门用水数据集 高质量用水数据集对推进变化环境下的水资源研究至关重要。然而&#xff0c;现有中国用水数据通常按行政区划或流域汇总&#xff0c;时空分辨率不足&#xff0c;难以支撑人类用水模式及时空变化特征的精细化分析。为此&#xff0c;…

git中的指令解释

在 Git 的 diff 输出中&#xff0c;---、 和 ... 块的含义如下&#xff1a; 1. --- a/1.py 和 b/1.py --- a/1.py&#xff1a;表示旧版本的文件路径&#xff08;通常是工作目录或上一次提交的版本&#xff09;。 b/1.py&#xff1a;表示新版本的文件路径&#xff08;通常是暂存…

STM32实现四自由度机械臂(SG90舵机)多功能控制(软件篇freertos)

书接上回的硬件篇STM32控制四自由度机械臂&#xff08;SG90舵机&#xff09;&#xff08;硬件篇&#xff09;&#xff08;简单易复刻&#xff09;-CSDN博客 此时硬件平台已经搭建完毕&#xff0c;软件总共设计了三种模式&#xff0c;分别为 模式1&#xff1a;摇杆&蓝牙模…