dolphinscheduler中,我们从一个mysql表导出数据,上传到hdfs, 再创建一个临时表,所以需要用到列名定义和列名列表。
原来定义两个变量,不仅繁锁,还容易出现差错,比如两者列序不对。
所以考虑只定义列定义变量,前一个任务从列定义中提取列名生成一个变量供后面任务使用。

一个从列定义中提取列名列表的脚本。
比如列定义:

  id varchar(32) COMMENT '个人客户id',customer_id varchar(32) COMMENT '客户ID',code varchar(50) COMMENT '客户编号',name varchar(100) COMMENT '客户名称',status tinyint COMMENT '客户状态'

提取的列名列表:

 t.id,t.customer_id,t.code,t.name, t.status 

脚本:

columns1=`echo "${colDefs}" | sed  's/\s*\([a-z|A-Z|0-9|_]\+\)[^,]*/t.\1/g'`
echo "#{setValue(slctColums=${columns1})}"
echo "parsed columns: $columns1"

dolphinscheduler示例
在这里插入图片描述
后面的任务就可以用select ${slctColumns} from table1 t 使用参数了

r后记:发现有点问题如: salary decimal(28,2) COMMENT ‘可支配余月收入’,
会变成
t.salary,t.2
所以,后面再sed一次掉这种

columns1=`echo "${colDefs}" | sed 's/\s*\([a-z|A-Z|0-9|_]\+\)[^,]*/t.\1/g'  | sed 's/t\.[0-9]\+,//g'`
echo "#{setValue(slctColums=${columns1})}"
echo "parsed columns: $columns1"

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/news/917159.shtml
繁体地址,请注明出处:http://hk.pswp.cn/news/917159.shtml
英文地址,请注明出处:http://en.pswp.cn/news/917159.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JavaWeb(苍穹外卖)--学习笔记16(定时任务工具Spring Task,Cron表达式)

前言 本篇文章是学习B站黑马程序员苍穹外卖的学习笔记📑。我的学习路线是Java基础语法-JavaWeb-做项目,管理端的功能学习完之后,就进入到了用户端微信小程序的开发,用户端开发的流程大致为用户登录—商品浏览(其中涉及…

灵敏度,精度,精确度,精密度,精准度,准确度,分辨率,分辨力——概念

文章目录前提总结前提 我最近在整理一份数据指标要求的时候,总是混淆这几个概念:灵敏度,精度,精确度,精密度,精准度,准确度,分辨率,分辨力,搜了一些文章&…

python-异常(笔记)

#后续代码可以正常运行 try:f open("xxx.txt","r",encodingutf-8)except:print("except error")#捕获指定异常,其他异常报错程序中止,管不到 try:print(name) except NameError as you_call:print("name error"…

[lvgl_player] 用户界面(LVGL) | 播放器核心设计

docs:基于LVGL的音乐播放器 本项目是为嵌入式设备设计的音乐播放系统,采用LVGL图形库构建用户界面。 系统支持播放WAV格式音频文件,具备播放列表管理功能,可实现播放/暂停控制、曲目切换等核心操作。 用户可通过交互界面实时调…

数据赋能(354)——数据分析——多角度分析原则

概述重要性如下:获得全面理解:多角度分析原则避免仅从单一角度解读数据,从不同角度、不同维度对数据进行分析,以获得更全面的理解。发现潜在规律:通过多角度分析,发现数据中的潜在规律和趋势,为…

【华为机试】127. 单词接龙

文章目录127. 单词接龙描述示例 1:示例 2:提示:解题思路算法分析问题本质分析单向BFS算法详解双向BFS算法详解邻居单词生成过程算法流程图边界情况分析各种解法对比时间复杂度分析空间复杂度分析关键优化点实际应用场景图构建策略双向BFS优化…

仿艾莫迅MODBUS调试工具写一个上位机

公司采购了一个夹具,项目负责人想要试探这个夹具的性能,于是想要我这边写一个烤机的程序,小编结合官网资料 https://wiki.amsamotion.com/?title196&doc222查看其pdf说明文档和调试工具并按照其工具写一个烤机上位机根据项目负责人的要求…

云展厅:开启数字化展示新时代

在科技飞速发展的今天,数字化浪潮正席卷各个行业,展览展示领域也不例外。云展厅作为一种全新的展览形式,正逐渐崭露头角,以其独特的优势和创新的技术应用,为观众带来前所未有的观展体验,也为企业和机构提供…

硬件电路基础学习

一、基础元器件学习 1、电阻 1.1 作用 电阻的工作原理是基于欧姆定律,即电阻的阻值取决于其材料、长度和横截面积。电阻的主要作用是限制电流,调节电压和电流,以及保护电路。1.2 数值计算 欧姆定律 通过欧姆定律计算所需保护电阻的大小注意…

基于C++和人工智能(DeepSeek)实践

基于C++和人工智能(如DeepSeek)实践 以下是基于C++和人工智能(如DeepSeek或其他AI框架)的实际应用示例,涵盖不同领域和技术方向,供参考: 基于C++和人工智能(如DeepSeek或其他AI框架)的实际应用示例 图像识别与处理 人脸检测:使用OpenCV和DNN模块加载预训练的Caffe…

书生浦语第五期L0G1000

完成 视频课程学习,并在 https://chat.intern-ai.org.cn/ 平台中实践提示词技巧,与 InternLM 和 InternVL 各完成 10 次对话记录在飞书文档中。 参加 浦语提示词工程论文分类打榜赛,分数超过 40 分 InternLM InternVL 浦语提示词工程论文分…

SpringCloud(一)微服务基础认识

1、介绍微服务架构是一种架构模式,它提倡将原本独立的单体应用,拆分成多个小型服务。这些小型服务各 自独立运行,服务与服务间的通信采用轻量级通信机制(一般基于HTTP协议的RESTful API) ,达到互相协调、互…

MaxKB+MinerU:通过API实现PDF文档解析并存储至知识库

MinerU是一款开源的高质量数据提取工具,能够将PDF文档转换为Markdown和JSON格式。2025年6月13日,MinerU发布了v2.0版本,相较于v1.0版本实现了架构和功能的全面重构与升级。在优化代码结构和交互方式的同时,v2.0版本还集成了小参数…

一文了解 `package.json` 和 `package-lock.json`文件

所有使用 npm 或 yarn(部分场景)管理依赖的 JavaScript/Node.js 项目都会存在**的核心文件–package.json 和 package-lock.json,无论项目类型是 Vue、React、Angular,还是纯 Node.js 后端项目、普通 JavaScript 工具库等。 所以这…

【AI论文】大语言模型量化的几何原理:将GPTQ视为Babai最近平面算法

摘要:将大型语言模型(LLMs)的权重从16位量化到更低位宽,是实际部署大规模Transformer模型到更具性价比的加速器上的通用方法。GPTQ已成为大语言模型规模下一站式训练后量化的标准方法之一。然而,其内部工作原理被描述为…

数据处理四件套:NumPy/Pandas/Matplotlib/Seaborn速通指南

点击 “AladdinEdu,同学们用得起的【H卡】算力平台”,H卡级别算力,按量计费,灵活弹性,顶级配置,学生专属优惠。 数据清洗 特征可视化 Kaggle数据集实操 读者收获:1周内具备数据预处理能力 数…

计算机系统层次结构

计算机系统通过多层抽象,平衡硬件效率与软件灵活性,各层以独立语言和功能构成有机整体。一、层次划分(从底层到顶层)层级名称特点实现方式第1级微程序机器层硬件直接执行微指令(如微操作控制信号)。物理硬件…

04 基于sklearn的机械学习-梯度下降(上)

梯度下降一 、为什么要用到梯度下降?正规方程的缺陷:非凸函数问题:损失函数非凸时,导数为0会得到多个极值点(非唯一解)计算效率低:逆矩阵运算时间复杂度 O(n3),特征量翻倍时计算时间…

淘宝 API HTTP/2 多路复用与连接优化实践:提升商品数据采集吞吐量

一、引言​随着电商行业的蓬勃发展,对淘宝平台商品数据的采集需求日益增长。无论是市场调研公司分析市场趋势、电商平台整合商品资源,还是商家进行竞品分析,都需要高效、稳定地获取大量淘宝商品数据。然而,传统的 HTTP 协议在面对…

javascript中call、apply 和 bind 的区别详解

文章目录深入浅出:JavaScript 中的 call、apply 和 bind一、三位魔法师的共同使命二、各显神通的魔法师们1. call - 即时通讯专家2. apply - 批量处理高手3. bind - 预约服务大师三、魔法师们的对比表格四、魔法师们的实际应用1. 借用方法2. 函数柯里化3. 事件处理五…