isRestored 方法返回值依赖 restoredCheckpointId 是否为空:

restoredCheckpointId 在算子状态句柄(StreamOperatorStateHandler)中从 StreamOperatorStateContext 获取并赋值给 StateInitializationContext(该 context 就是 initializeState 方法中使用的 context):

StreamOperatorStateContext 在 StreamOperatorStateHandler 初始化时传入:

StreamOperatorStateContext的 checkpointId 来自 TaskStateMangerImpl:

TaskStateMangerImpl 实现中会从 jobMangerTaskRestore 中获取 checkpointId:

jobMangerTaskRestore 实例化的唯一方式是从 TaskStateMangerImpl 构造函数中构造:

submitTask 是 JM 通过 Akka 向 TM 提交 Task 执行的方法。JM 会从状态文件中获取 source 算子的状态交由 TM 执行恢复动作,checkpointId默认赋值。

任务从状态启动时(allowNonRestoredState=true),每个算子的 subTask 都具有状态:这里的状态指的是表达算子状态的 OperatorSubtaskStates 实例不会为空,只是说真正有状态算子的大小不为0,本身没状态算子的大小为0。

以 task 纬度分配状态,当开启算子链合并时,每个 task 里面包含多个算子:jobVertex 为 job 执行图的顶点:多个算子组成。

里面有两次 for 循环,外层处理单个 task,内层处理 task 再分别处理每个算子(封装为 OperatorState)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/web/87664.shtml
繁体地址,请注明出处:http://hk.pswp.cn/web/87664.shtml
英文地址,请注明出处:http://en.pswp.cn/web/87664.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

rk3128 emmc显示剩余容量为0

机器emmc 容量显示异常,显示剩余容量为0,这时候做了一个让 系统不检测GPP分区部分的操作,此问题才得以解决,如下: system/vold/DirectVolume.cpp -33,6 33,8 #include "VolumeManager.h"#include "Re…

WebAssembly国际化多语种支持

icu linux数据裁剪 先linux编译出所有的工具 mkdir build && cd build ../configure --prefix=$(pwd)/build_wasm/install --enable-static --disable-shared --with-data-packaging=static --enable-tools=yes --enable-extras=yes --e…

Ubuntu 安装 etcd 与 etcd-cpp-apiv3

目录 安装 etcd 安装 etcd-cpp-apiv3 安装 etcd sudo apt update sudo apt install etcd-server sudo apt install -y etcd-client 在 /etc/default/etcd 配置文件中配置,下面示例是单个服务器内进程之间交换信息且只有一个etcd节点。 #节点名称,默认为…

Spring Boot 集成 GeoTools 详解

目录 一、概述二、集成优势三、集成步骤四、使用场景五、案例:周边设施查询系统六、注意事项七、总结 一、概述 什么是 Spring Boot? Spring Boot 是由 Pivotal 团队开发的基于 Spring 框架的快速开发工具,它通过自动配置、起步依赖等特性简…

基础知识:mysql-connector-j依赖

mysql-connector-j 是 MySQL 官方提供的 Java 数据库连接驱动(JDBC Driver),用于在 Java 应用程序中连接和操作 MySQL 数据库。它是 MySQL 8.0 版本之后的标准驱动名称,替代了旧的 mysql-connector-java。 一、新旧版本对比 驱动…

vscode remote-ssh 拓展免密访问 linux虚拟机

前置步骤,在linux安装好ssh并且win可以使用密码登录linux sudo apt install openssh-server -y 在win上检查密钥是否存在 检查公钥和私钥cat ~/.ssh/id_rsa.pubcat ~/.ssh/id_rsa 如果不存在,重新生成 ssh-keygen -t rsa -b 4096 重新执行 cat ~/.ssh/…

动手学深度学习-学习笔记【二】(基础知识)

文章目录 1、概述2、课程学习2.1、深度学习介绍2.2、安装2.3、数据操作2.4、数据预处理2.5、线性代数2.6、微积分2.7、自动微分2.8、概率2.8.1、基本概率论2.8.2、处理多个随机变量2.8.3、期望和方差 2.9、查阅文档 1、概述 本篇博客用来记录我学习深度学习的学习笔记&#xf…

瑞盟MS4554N/MS4554N1双向电平转换器重新定义混合电压系统连接

在电子设备的“心脏”——电路系统里,不同功能模块常因性能需求差异,采用差异化的供电电压:传感器用1.8V低功耗运行,主控芯片选3.3V高效处理,传统接口保留5V稳定传输……当这些“电压孤岛”需要互联时,一个…

二叉树题解——验证二叉搜索树【LeetCode】后序遍历

98. 验证二叉搜索树 一、算法逻辑(逐步通顺讲解每一步思路) 这段算法使用了一种递归的思路: 每个节点返回它所在子树的 最小值和最大值,并在返回的过程中检查 BST 的合法性。 ✅ 1️⃣ 定义递归函数 dfs(node),其含…

Flink-Source算子点位提交问题(Earliest)

背景 最近在做 Flink 任务数据源切换时遇到 offset 消费问题,遂写篇文章记录下来。 切换时只修改了 source 算子的 topic,uid 等其他信息保持不变: 发布时,发现算子的消费者点位重置为earliest,导致消息积压。消息积…

如何录制带备注的演示文稿(LaTex Beamer + Pympress)

参考文献: Pympress 官网Avidemux 官网Audacity 官网FFmpeg 官网2025年度25大视频剪辑软件推荐2025最新音频降噪软件盘点,从入门到专业的6个高效工具如何用一段音频替换mp4视频格式的原有音频?免费简单易用的视频剪切编辑工具—AvidemuxFFmp…

VS Code 的 Copilot Chat 扩展程序

安装与启用 Copilot Chat 扩展 在 VS Code 中打开扩展市场(快捷键 CtrlShiftX 或点击左侧活动栏的扩展图标)。搜索“GitHub Copilot Chat”,点击安装。安装完成后需登录 GitHub 账户并授权 Copilot 权限。确保已订阅 GitHub Copilot 服务&am…

bash 脚本比较 100 个程序运行时间,精确到毫秒,脚本

脚本如下: #!/bin/bash# 设置测试次数 NUM_TESTS100 # 设置要测试的程序路径 PROGRAM"./your_program" # 替换为你的程序路径 # 设置程序参数(如果没有参数则留空) ARGS"" # 例如: "input.txt output.txt"#…

【Linux学习】Linux安装并配置Redis

安装Redis在Linux系统上安装Redis可以通过包管理器或源码编译两种方式进行。以下是两种方法的详细步骤。使用包管理器安装Redis(以Ubuntu为例):sudo apt update sudo apt install redis-server通过源码编译安装Redis:wget https:/…

redis每种数据结构对应的底层数据结构原理

Redis 的每种数据结构(String、List、Hash、Set、Sorted Set)在底层都采用了不同的实现方式,根据数据规模和特性动态选择最优的编码(encoding)以节省内存和提高性能。以下是详细原理分析: 1. String(字符串) 底层实现: int:当存储整数值且可用 long 表示时,直接使用…

WPF控件大全:核心属性详解

WPF常用控件及核心属性 以下是WPF开发中最常用的控件及其关键属性(按功能分类): 基础布局控件 Grid(网格布局) RowDefinitions:行定义集合(如Height"Auto")ColumnDefinit…

马斯克脑机接口(Neuralink)技术进展,已经实现瘫痪患者通过BCI控制电脑、玩视频游戏、学习编程,未来盲人也能恢复视力了

目录 图片总结文字版总结1. 核心目标与愿景1.1 增强人类能力1.2 解决脑部疾病1.3 理解意识1.4 应对AI风险 2. 技术进展与产品2.1 Telepathy(意念操控)功能与目标技术细节参与者案例 2.2 Blindsight(视觉恢复)**功能与目标**技术细…

Vuex身份认证

虽说上一节我们实现了登录功能,但是实际上还是可以通过浏览器的地址来跳过登录访问到后台,这种可有可无的登录功能使得系统没有安全性,而且没有意义 为了让登录这个功能有意义,我们应该: 应当在用户登录成功之后给用户…

springboot中使用线程池

1.什么场景下使用线程池? 在异步的场景下,可以使用线程池 不需要同步等待, 不需要管上一个方法是否执行完毕,你当前的方法就可以立即执行 我们来模拟一下,在一个方法里面执行3个子任务,不需要相互等待 …

Flask+LayUI开发手记(十):构建统一的选项集合服务

作为前端最主要的组件,无论是layui-table表格还是layui-form表单,其中都涉及到选项列的处理。如果是普通编程,一个任务对应一个程序,自然可以就事论事地单对单处理,前后端都配制好选项,手工保证两者的一致性…