引言

在工业物联网（IIoT）与自动化控制场景中，设备状态的实时监控与自然语言指令执行是提升效率的关键。本文将介绍一种基于 FastAPI 和 Selenium 的智能设备状态管理系统，通过大语言模型（LLM）解析用户指令，结合浏览器自动化实现设备状态查询、操作记录检索等功能，为工业设备管理提供灵活的解决方案。

一、技术架构与核心组件

系统架构图

核心技术栈

FastAPI：
作为高性能接口框架，负责接收指令、协调模块交互，提供低延迟的API服务。
Selenium：
实现浏览器自动化，模拟操作设备管理系统页面，完成参数填写、查询触发等交互任务。
大语言模型（LLM）：
构建“参数解析Agent”，将自然语言转换为结构化数据（如操作类型、设备组、时间范围等）。
关系型数据库：
存储设备组、设备代码等基础信息，提供参数合法性校验（如设备组是否存在）。
自动化工具链：
辅助构建指令解析与执行流程，实现从自然语言到设备操作的自动化编排。

二、核心功能与实现细节

1. 自然语言指令解析

需求场景

用户输入：“查询华北区域A001设备在2025年Q2的异常状态记录”
解析目标：生成包含操作类型、设备组、设备代码、状态和时间范围的结构化数据。

实现方案

通过工具链定义Agent与任务规则：

# 定义解析Agent
data_agent = Agent(role="工业指令解析专家",goal="将自然语言转为设备操作参数",llm=LLM(model="llm-model-name"),  # 脱敏模型标识verbose=True
)# 任务生成逻辑
def generate_task(user_cmd):return Task(description=f"解析指令：{user_cmd}",agent=data_agent,expected_output=DeviceOperation,  # 自定义Pydantic模型rules=["包含'记录'→type: query_history","设备组名称去除区域后缀","时间范围自动补全为季度起始/结束日期"])

2. 浏览器自动化优化

痛点：动态元素定位

问题：页面渲染延迟或动态加载导致元素定位失败。
解决方案：

智能等待：使用显式等待机制，基于元素可见性或可点击性动态调整等待时间。
复合定位策略：结合CSS选择器与XPath表达式，提高定位鲁棒性。
无感知操作：通过JavaScript执行点击、输入等操作，避免页面事件监听干扰。

class WebAutomator:def __init__(self):self.driver = webdriver.Chrome(options=self._get_headless_options())def _get_headless_options(self):options = Options()options.add_experimental_option("debuggerAddress", "127.0.0.1:9527")  # 复用浏览器会话options.add_argument("--headless=new")return optionsdef wait_for_clickable(self, locator, timeout=15):"""等待元素可交互"""return WebDriverWait(self.driver, timeout).until(EC.element_to_be_clickable(locator))def fill_form(self, group, code, time_range):"""填充查询表单"""self.wait_for_clickable(("id", "group-select")).send_keys(group)self.driver.execute_script("document.getElementById('code-input').value = arguments[0];", code)# 时间范围处理逻辑...

3. 接口设计与参数验证

接口定义

from pydantic import BaseModel, Fieldapp = FastAPI()class CommandRequest(BaseModel):user_command: str = Field(..., example="检索华东设备组X002的运行记录")@app.post("/api/device/command")
async def process_command(req: CommandRequest):"""自然语言设备控制接口"""task = generate_task(req.user_command)result = Crew(agents=[data_agent]).run(task)# 数据库校验（如设备组是否在白名单）if not self._is_valid_group(result.device_group):raise HTTPException(400, "无效的设备组")# 执行自动化操作...return {"code": 200, "message": "指令已调度"}

安全设计

敏感信息管理：数据库密码、API密钥等通过环境变量注入，示例中以***替代。
跨域控制：通过中间件限制前端请求来源，仅允许指定域名访问。

三、关键挑战与解决方案

1. 语义歧义消解

挑战：指令“打开设备”可能指“开启监控画面”或“执行状态检测”。
解决方案：

领域词典映射：建立关键词与操作类型的映射表，如：
- {“视频”, “录制”} → 摄像头操作
- {“状态”, “检测”} → 设备识别操作
强制参数校验：通过Pydantic模型要求操作类型（type）必须为枚举值，避免无效指令。

2. 多版本兼容性

挑战：不同客户环境的管理系统页面结构差异大。
解决方案：

页面抽象层：为常用操作（如选择设备组、输入时间范围）定义抽象接口，具体实现适配不同页面。
动态定位表达式：通过配置文件管理各页面的元素定位表达式，支持热更新。

3. 性能调优

措施：

数据缓存：使用LRU缓存存储设备组列表，减少数据库查询次数。
会话持久化：复用浏览器会话，避免每次请求重新初始化Selenium实例。
异步处理：将耗时的浏览器操作封装为异步任务，释放API线程资源。

四、系统演示与扩展方向

典型操作流程

用户指令：“获取华南设备组Z003在2025-06-01至2025-06-30的分闸记录”

LLM解析结果：

{"type": "query_history","device_group": "华南","device_code": "Z003","status": "open","time_range": {"start": "2025-06-01 00:00:00","end": "2025-06-30 23:59:59"}
}

自动化操作：
- 访问设备管理系统，选择“华南”设备组
- 输入设备代码“Z003”，筛选状态“open”，设置时间范围
- 触发查询并返回结果集或截图（脱敏处理）

扩展方向

多模态交互：集成语音识别与合成，支持语音指令输入和结果播报。
边缘计算集成：通过工业协议（如Modbus）直接控制硬件，减少对管理系统的依赖。
智能分析增强：结合机器学习模型，对查询结果进行异常检测和趋势预测。

五、总结

本文提出的智能设备状态管理系统通过FastAPI的高效调度、Selenium的自动化能力与LLM的语义理解，实现了自然语言指令到设备操作的端到端流程。通过模块化设计与脱敏处理，系统可快速适配不同行业的设备管理场景，降低人工操作成本。在实际应用中，建议结合权限管理、操作审计和容器化部署，进一步提升系统的安全性与可靠性。

技术关键词：FastAPI、Selenium、自然语言处理、自动化测试、工业数字化

注意：文中涉及的设备编号、系统路径等均为演示用虚拟数据，实际部署需根据具体业务场景调整。敏感信息（如数据库密码、真实模型路径）需通过安全通道管理，避免泄露。