1,Azure 访问地址

1，国际版

https://portal.azure.com/#homehttps://portal.azure.com/#home2，世纪互联中国版

Microsoft Azure 由世纪互联运营https://portal.azure.cn/2,创建资源组并且所有的后续组件都是再此资源下面创建。

3，创建Data Factory 工具

4,核心组件

1. 管道(Pipeline)

功能：逻辑工作流容器
特点：
- 由多个活动组成
- 支持参数化
- 可调度执行
典型使用：定义完整的数据处理流程

2. 活动(Activity)

功能：管道中的单个处理步骤
类型：
- 数据移动(如Copy)
- 数据转换(如Data Flow)
- 控制流(如If Condition)
示例：从Blob复制数据到SQL DB

3. 数据集(Dataset)

功能：输入/输出数据的结构定义
特点：
- 指向具体数据存储
- 定义数据格式
- 支持分区定义
示例：定义Azure SQL表的结构

4. 链接服务(Linked Service)

功能：连接外部资源的定义
特点：
- 包含连接信息
- 支持多种认证方式
- 可重用
示例：连接到Azure SQL Database的服务

5. 集成运行时(Integration Runtime)

功能：执行环境基础设施
类型：
- Azure IR(完全托管)
- 自托管IR(本地/混合云)
- Azure-SSIS IR(运行SSIS包)
选择依据：网络环境与性能需求

6. 触发器(Trigger)

功能：管道执行调度机制
类型：
- 计划触发器(定时)
- 事件触发器(如Blob上传)
- 手动触发器
示例：每天凌晨1点触发数据加载

5，抽取Demo

1）创建元数据表以及需要抽取的2个表。

CREATE TABLE [META].[META_SOURCE_OBJECTS]
(
   [SYSTEM_NAME] [nvarchar](100) NULL,--source_system_name 指定系统EBS系统
   [DATABASE_NAME] [nvarchar](100) NULL,--source_DB_NAME 指定数据库APPS DB
   [SCHEMA_NAME] [nvarchar](100) NULL,--Synapse-schema_name 指定架构ODS
   [OBJECT_NAME] [nvarchar](255) NULL,--Synapse-Object_name 指定表名Customer
   [INGEST_PATTERN] [nvarchar](50) NULL,--Full,Increment,Special 指定抽取模式 increment
   [TRIGGER_TIME] [nvarchar](100) NULL,--0100 start-time at 01:00 AM 指定抽取开始时间
   [ACTIVITY_CONFIG] [nvarchar](4000) NULL,--{"field_name":"CREATED_DATE_TIME"} 指定增量字段
   [ENABLED] [bit] NOT NULL,-- enabled_status Y是启动,N是不启动
   [USER_DEFINE_CONFIG] [nvarchar](4000) NULL,--{"target_name":"EKKO"}--用户自定义例如表，或者需要指定抽取的时间 getdate()-30
   [CREATE_TIME] [datetime] NULL --指定创建时间
)

 DECLARE @DynamicQuery NVARCHAR(MAX);
SELECT @DynamicQuery = STRING_AGG(CONCAT('SELECT ','''', SYSTEM_NAME, ''' AS SYSTEM_NAME, ','''', DATABASE_NAME, ''' AS DATABASE_NAME, ','''', SCHEMA_NAME, ''' AS SCHEMA_NAME, &#