一、什么是萤石AI对话智能体？

如何让设备听得到、听得懂？这次萤石发布的AI对话Agent，让设备能进行自然、流畅、真人感的AI对话智能体，帮助开发者打造符合业务场景的AI对话智能体能力，实现全双工、实时打断、可扩展、对话效果自然的设备互动。

1. 音视频高效采集与智能处理技术

AI对话智能体，通过设备大量海康/萤石设备自带的萤石自研ERTC实现音视频数据的高效采集、自定义处理和超低时延传输，并结合海康研究院的3A硬件音频处理技术，设备端集成3A降噪、回声消除、音频增强等能力。

2. 云端智能音视频处理与语音交互技术

在云端，提供了智能音视频处理模块，包括云端AI打断、智能降噪等能力。并在云端深度整合语音识别（ASR）、语音合成（TTS）、多厂家大模型（deepseek/通义千问等），简化语音到文本及文本到语音的转换过程，提供强大的智能对话、自然语言处理和语音交互能力，端到端延迟降低到2秒以内，并提供AI VAD模块，实时打断。

3. 企业向量知识库与硬件AI智能体构建

提供企业向量知识库（RAG），帮助开发者快速搭建属于企业自己的硬件AI智能体，应用到各行各业场景中。

IoT+智能体

让海康/萤石/三方硬件聪明起来：基于S10开放的英语助教、基于RK3开放的智能养老管家、基于SP4开放的智能公寓助手，都是典型的IoT+智能体应用，同时萤石开放平台还提供了SDK开放，开发者集成的很多AI玩具都可以直接实现AI玩具+智能体的应用。

二、萤石AI对话智能本次发布功能一览

功能一：设备集成聪明的智能体

通过支持语音对话的设备，比如S10、RK3、C6C ultra等设备，开发者可以在控制台创建智能体后，下发给设备，用户即可唤醒智能体并进行对话。

如图，通过将绘本故事、开放平台智能客服、多语言翻译等智能体下发给设备，用户就可以在家里使用智能体，与对应的智能体进行通话。

功能二：控制台提供Agent管理

那么，如何创建这些智能体呢？

进入开放平台控制台，即可看到已经创建的智能体，点击新建，选择大模型、提示词、选择技能。

输入对应选项后，即可体验。

调试后，即可发布。发布后，即可关联设备。即可在设备端进行对话。

功能三：自定义企业知识库

注：目前只有灰度，请联系小助手开放

三、为什么选择开放平台AI对话智能体？

1. 持续更新的硬件资源

任何接入萤石云的RTC设备，都可以一键开启智能体应用。同时，开放平台还提供各类LinuxSDK，搭配音频对话模组，可以让你的硬件变的更聪明

2. 灵活的流程设计

开放平台智能体的工作流功能可以用来处理逻辑复杂，且有较高稳定性要求开放平台智能体务流。例如只需要通过提示词模板设置、选择不同的大模型，输入不同的语言音色，就可以搭建一个熟悉多国语言的助教，并能直接下发到萤石屏类设备上，一键开启多语言翻译。

3. 标准且支持扩展的能力集

开放平台智能体集成了丰富的插件工具，极大地拓展智能体的开放平台智能体边界。例如使用智能家居插件，打造一个可以控制家庭灯、窗帘等设备开关的AI助理。

四、 IoT + Agent 应用场景

1. 在线教育

在线教育场景中，实时互动和反馈是提升学习效果的关键。依托 AI 实时对话 + 智能体，开发者可以创建虚拟教学助手并远程与学生完成实时远程助教。

课外，虚拟教学助手可以根据不同学生的进度和需求，提供个性化的辅导建议和学习资源，并针对学生的作业、提问提供响应式反馈，以更自然亲和的方式陪伴学生。相比大段的文字解析，对话式的讲解可以更有效地引导学生，便于学生理解。

2. 监控中心

在监控中心，通过搭建智能体应用：比如查询xx车牌过往足迹，xx天内车辆数量等，就能与AI智能体实现快速的监控数据查询，不用输入任何文字，就能获取对应监控历史数据。效果更佳。

3. 医疗辅助

依托 AI 硬件+AI智能体，在导诊、问诊等场景中，患者可以通过语音咨询提问，获取实时且个性化的建议，提升导诊温度，并且在社区医院等场景里，可以提高患者的亲和度。

4. AI陪伴

火热的AI玩具，萤石已经开放了Linux SDK，可以在自己的音频模组中快速集成。集成后可实现陪小孩英语对话、咨询问题等各类场景支撑。萤石同时也在对外开放模组+RTC的方案，欢迎硬件厂家咨询合作。