目录
- 一、工作原理
- 二、基本使用
- 三、连接器基本使用
一、工作原理
数据集成使用sink
和source
组件与外部数据系统对接。
- sink:用于将消息
发送
到外部数据系统,例如MySQL、Kafka或Http服务等。 - source:用于从外部数据系统
接收
消息,例如MQTT、Kafka或GCP PubSub。
连接器:连接器负责与外部数据系统的连接,用户可以为不同的外部数据系统创建不同的连接器,一个连接器可以为多个Sink、Source提供连接。
规则引擎:是EMQX内置于SQL的数据处理组件,搭配数据集成无需编写代码即可实现一站式的IOT数据提取、过滤、转换、存储与处理,以加速应用集成和业务创新。
规则的组成:规则描述了数据来源、数据处理过程、数据结果去向
三个方面:
- 数据来源:规则的数据源可以是消息或事件,也可以是外部的数据系统(source),规则通过SQL的FROM子句指定数据的来源。
- 数据处理过程:规则通过
SQL
语句和函数
来描述数据的处理过程。SQL的WHERE子句用于过滤数据,SELECT子句以及SQL函数用于提取和转换数据。 - 处理结果去向:规则可以定义一个或多个动作来处理SQL的输出结果。如果SQL执行通过,规则将按顺序执行相应的动作,比如将处理结果存储到数据库、或者重新发布到另一个MQTT主题等,支持的动作如下:
- 消息重发布:将结果发布到指定MQTT主题。
- 控制台输出:将结果输出到控制台或者日志中。
- 发送到各类Sink:将结果发送到外部数据系统中,如MQTT服务,Kafka、PastgreSQL等。
二、基本使用
第一步:需要创建规则
接收MQTT主题t/a
发送过来的消息
将结果输出到控制台
启用测试可以直接使用EMQX Dashboard发送消息进行测试,发送成功之后,数据结果在右侧显示,发送的消息由payload
字段接收。
三、连接器基本使用
第一步:创建连接器
第二步:在规则配置的时候输出动作增加Redis
略
第三步:通过Flow设计器可以查看数据的输出路径