SpringAI多模态提问

概述

SpringAI支持多模态输入，允许AI模型同时处理文本和图像内容。这对于需要视觉理解的AI应用场景非常有用，如图像描述、视觉问答、图像分析等。
在这里插入图片描述

核心概念

1. Media类

SpringAI使用Media类来表示多模态内容，支持图像、音频、视频等多种媒体类型。

2. UserMessage构建器

通过UserMessage.builder()可以构建包含媒体内容的消息，支持同时传递文本和媒体文件。

关键代码实现

1. 多模态消息构建

@PostMapping(value = "/generateStreamWithFile", consumes = "application/json", produces = "text/event-stream;charset=UTF-8")
public Flux<FluxVO> generateStreamWithFile(@RequestBody QuestionVO body) {String model = body.getModel();// 1. 将Base64编码的图像转换为Media对象List<Media> mediaList = new ArrayList<>();for (String fileBase64 : body.getFilebase64s()) {// 解码Base64字符串为字节数组byte[] imageBytes = Base64.getDecoder().decode(fileBase64);// 创建ByteArrayResource包装字节数组ByteArrayResource imageResource = new ByteArrayResource(imageBytes);// 创建Media对象，指定MIME类型为PNG图像mediaList.add(new Media(MimeTypeUtils.IMAGE_PNG, imageResource));}// 2. 构建消息列表List<Message> messageList = new ArrayList<>();UserMessage userMessage;// 3. 根据是否有媒体内容选择不同的消息构建方式if (!mediaList.isEmpty()) {// 构建包含媒体内容的多模态消息userMessage = UserMessage.builder().text(body.getMessage())        // 设置文本内容.media(mediaList)               // 设置媒体内容列表.build();} else {// 构建纯文本消息userMessage = new UserMessage(body.getMessage());}messageList.add(userMessage);// 4. 添加系统提示词String systemPrompt = body.getSystemPrompt();String finalSystemPrompt = (systemPrompt != null && !systemPrompt.trim().isEmpty())? systemPrompt: "中文回答";messageList.add(new SystemMessage(finalSystemPrompt));// 5. 获取指定模型并生成响应DynamicModelFactory.MyModel myModel = dynamicModelFactory.getModelByName(model);if (myModel == null) {throw new RuntimeException("未找到指定模型: " + model);}// 6. 自定义处理流式输出内容return getFluxVOFlux(messageList, myModel);
}