LangChain4j 提供了灵活的模型参数配置方式,允许你根据不同的 AI 模型(如 OpenAI、GPT-4、Anthropic 等)设置各种参数来控制生成结果。

后面手撸代码继续在之前章节的代码上拓展

一、日志配置(Logging)

在 LangChain4j 中,日志(logging)相关参数主要用于控制是否记录模型的请求和响应信息,这对于开发调试、监控 API 调用内容以及排查问题非常有用。

将日志级别调整为debug级别,同时配置上langchain日志输出开关才能有效。

step1:修改LLMConfig类

package com.xxx.demo.config;import dev.langchain4j.model.chat.ChatModel;
import dev.langchain4j.model.openai.OpenAiChatModel;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;@Configuration
public class LLMConfig {@Bean(name = "qwen")public ChatModel chatModelQwen(){return OpenAiChatModel.builder().apiKey(System.getenv("aliqwen-apikey")).modelName("qwen-plus").baseUrl("https://dashscope.aliyuncs.com/compatible-mode/v1").logRequests(true) // 日志界别设置为debug才有效.logResponses(true)// 日志界别设置为debug才有效.build();}}

step2:修改YML文件

server.port=9005spring.application.name=langchain4j-0301-parameters# 只有日志级别调整为debug级别,同时配置以上 langchain 日志输出开关才有效
logging.level.dev.langchain4j = DEBUG 

step3:在控制台检查结果

二、监控(Observability)

LangChain4j 的 Observability(可观测性)配置主要涉及日志记录、指标监控及链路追踪等方面

step1:先实现ChatModelListener

package com.xxx.demo.listener;import cn.hutool.core.util.IdUtil;
import dev.langchain4j.model.chat.listener.ChatModelErrorContext;
import dev.langchain4j.model.chat.listener.ChatModelListener;
import dev.langchain4j.model.chat.listener.ChatModelRequestContext;
import dev.langchain4j.model.chat.listener.ChatModelResponseContext;
import lombok.extern.slf4j.Slf4j;@Slf4j
public class TestModeLlistener  implements ChatModelListener {@Overridepublic void onRequest(ChatModelRequestContext requestContext){// onRequest配置的k:v键值对,在onResponse阶段可以获得,上下文传递参数好用String uuidValue = IdUtil.simpleUUID();requestContext.attributes().put("TraceID",uuidValue);log.info("请求参数requestContext:{}", requestContext+"\t"+uuidValue);}@Overridepublic void onResponse(ChatModelResponseContext responseContext){Object object = responseContext.attributes().get("TraceID");log.info("返回结果responseContext:{}", object);}@Overridepublic void onError(ChatModelErrorContext errorContext){log.error("请求异常ChatModelErrorContext:{}", errorContext);}
}

step2:再次拓展LLMConfig类

package com.xxx.demo.config;import com.bbchat.demo.listener.TestModeLlistener;
import dev.langchain4j.model.chat.ChatModel;
import dev.langchain4j.model.openai.OpenAiChatModel;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import java.util.List;@Configuration
public class LLMConfig {@Bean(name = "qwen")public ChatModel chatModelQwen(){return OpenAiChatModel.builder().apiKey(System.getenv("aliqwen-apikey")).modelName("qwen-plus").baseUrl("https://dashscope.aliyuncs.com/compatible-mode/v1").logRequests(true) // 日志界别设置为debug才有效.logResponses(true)// 日志界别设置为debug才有效.listeners(List.of(new TestModeLlistener())) //监听器.build();}}

step3:验证结果

三、重试机制(Retry Configuration)

在 LangChain4j 中配置重试机制,核心是通过 RetryAssistant(重试助手)或结合底层依赖(如 OkHttp、Resilience4j 等)实现,用于解决 LLM 调用过程中的网络波动、API 限流、临时服务不可用等问题。下面代码简单做展示一下效果,更加详细的配置请大家看官网查API。

再次拓展LLMConfig

package com.xxx.demo.config;import com.bbchat.demo.listener.TestModeLlistener;
import dev.langchain4j.model.chat.ChatModel;
import dev.langchain4j.model.openai.OpenAiChatModel;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import java.util.List;@Configuration
public class LLMConfig {@Bean(name = "qwen")public ChatModel chatModelQwen(){return OpenAiChatModel.builder().apiKey(System.getenv("aliqwen-apikey")).modelName("qwen-plus").baseUrl("https://dashscope.aliyuncs.com/compatible-mode/v1").logRequests(true) // 日志界别设置为debug才有效.logResponses(true)// 日志界别设置为debug才有效.listeners(List.of(new TestModeLlistener())) //监听器.maxRetries(2)// 重试机制共计2次.build();}}

四、超时机制(timeout)

继续拓展LLMConfig

package com.xxx.demo.config;import com.bbchat.demo.listener.TestModeLlistener;
import dev.langchain4j.model.chat.ChatModel;
import dev.langchain4j.model.openai.OpenAiChatModel;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import java.time.Duration;
import java.util.List;@Configuration
public class LLMConfig {@Bean(name = "qwen")public ChatModel chatModelQwen(){return OpenAiChatModel.builder().apiKey(System.getenv("aliqwen-apikey")).modelName("qwen-plus").baseUrl("https://dashscope.aliyuncs.com/compatible-mode/v1").logRequests(true) // 日志界别设置为debug才有效.logResponses(true)// 日志界别设置为debug才有效.listeners(List.of(new TestModeLlistener())) //监听器.maxRetries(2)// 重试机制共计2次.timeout(Duration.ofSeconds(2))//向大模型发送请求,2s没有响应将中断请求并提示reqquest time out.build();}}

找一个大模型思考肯定超过2s问题测试一下即可见效果

五、流式输出(Response Streaming)

流式输出(StreamingOutput)是一种逐步返回大模型生成结果的技术,生成一点返回一点,允许服务器将响应内容。分批次实时传输给客户端,而不是等待全部内容生成完毕后再一次性返回。

 这种机制能显著提升用户体验,尤其适用于大模型响应较慢的场景(如生成长文本或复杂推理结果)

step1:修改一下我们的pom文件,确认下langchain4j原生maven坐标三件套

  		<dependency><groupId>dev.langchain4j</groupId><artifactId>langchain4j-open-ai</artifactId></dependency><dependency><groupId>dev.langchain4j</groupId><artifactId>langchain4j</artifactId></dependency><dependency><groupId>dev.langchain4j</groupId><artifactId>langchain4j-reactor</artifactId></dependency>

step2:修改下yml文件

server.port=9005spring.application.name=langchain4j-0301-parameters# 只有日志级别调整为debug级别,同时配置以上 langchain 日志输出开关才有效
logging.level.dev.langchain4j = DEBUG# 设置响应的字符编码,避免流式返回输出乱码
server.servlet.encoding.charset=utf-8
server.servlet.encoding.enabled=true
server.servlet.encoding.force=true

step3:ChatAssistant接口

package com.xxx.demo.service;
import reactor.core.publisher.Flux;public interface ChatAssistant {String chat(String prompt);Flux<String> chatFlux(String prompt);
}

step4:重写LLMConfig

package com.xxx.demo.config;import com.bbchat.demo.listener.TestModeLlistener;
import com.bbchat.demo.service.ChatAssistant;
import dev.langchain4j.model.chat.ChatModel;
import dev.langchain4j.model.chat.StreamingChatModel;
import dev.langchain4j.model.openai.OpenAiChatModel;
import dev.langchain4j.model.openai.OpenAiStreamingChatModel;
import dev.langchain4j.service.AiServices;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import java.util.List;@Configuration
public class LLMConfig {/*普通对话接口*/@Bean(name = "qwen")public ChatModel chatModelQwen(){return OpenAiChatModel.builder().apiKey(System.getenv("aliqwen-apikey")).modelName("qwen-plus").baseUrl("https://dashscope.aliyuncs.com/compatible-mode/v1").logRequests(true) // 日志界别设置为debug才有效.logResponses(true)// 日志界别设置为debug才有效.listeners(List.of(new TestModeLlistener())) //监听器//  .maxRetries(2)// 重试机制共计2次// .timeout(Duration.ofSeconds(2))//向大模型发送请求,2s没有响应将中断请求并提示reqquest time out.build();}/*流式对话接口*/@Beanpublic StreamingChatModel streamingChatModel(){return OpenAiStreamingChatModel.builder().apiKey(System.getenv("aliqwen-apikey")).modelName("qwen-plus").baseUrl("https://dashscope.aliyuncs.com/compatible-mode/v1").build();}@Beanpublic ChatAssistant chatAssistant(StreamingChatModel streamingChatModel){return AiServices.create(ChatAssistant.class, streamingChatModel);}}

step5:写一个新的controller,分别调用一下就能体验流式输出了。

接口地址

核心逻辑

返回类型

适用场景

/chatstream/chat

直接调用 StreamingChatModel 的 chat 方法,通过 Flux.create 包装流式响应

Flux<String>

前端需要流式接收文本(如 SSE)

/chatstream/chat2

直接调用 StreamingChatModel,控制台打印流式结果,无返回值

void

后端调试(无前端交互)

/chatstream/chat3

调用自定义 ChatAssistant 的 chatFlux 方法,封装后返回流式响应

Flux<String>

高内聚场景(业务逻辑封装)

package com.xxx.demo.controller;import com.bbchat.demo.service.ChatAssistant;
import dev.langchain4j.model.chat.StreamingChatModel;
import dev.langchain4j.model.chat.response.ChatResponse;
import dev.langchain4j.model.chat.response.StreamingChatResponseHandler;
import jakarta.annotation.Resource;
import lombok.extern.slf4j.Slf4j;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;@RestController
@Slf4j
public class StreamingChatModelController {@Resource //直接使用 low-level LLM APIprivate StreamingChatModel streamingChatLanguageModel;@Resource //自己封装接口使用 high-level LLM APIprivate ChatAssistant chatAssistant;// http://localhost:9005/chatstream/chat?prompt=天津有什么好吃的@GetMapping(value = "/chatstream/chat")public Flux<String> chat(@RequestParam("prompt") String prompt){return Flux.create(stringFluxSink -> {streamingChatLanguageModel.chat(prompt, new StreamingChatResponseHandler(){@Overridepublic void onPartialResponse(String s){stringFluxSink.next(s);}@Overridepublic void onCompleteResponse(ChatResponse completeResponse){stringFluxSink.complete();}@Overridepublic void onError(Throwable throwable){stringFluxSink.error(throwable);}});});}@GetMapping(value = "/chatstream/chat2")public void chat2(@RequestParam(value = "prompt", defaultValue = "北京有什么好吃") String prompt){System.out.println("---come in chat2");streamingChatLanguageModel.chat(prompt, new StreamingChatResponseHandler(){@Overridepublic void onPartialResponse(String partialResponse){System.out.println(partialResponse);}@Overridepublic void onCompleteResponse(ChatResponse completeResponse){System.out.println("---response over: "+completeResponse);}@Overridepublic void onError(Throwable throwable){throwable.printStackTrace();}});}@GetMapping(value = "/chatstream/chat3")public Flux<String> chat3(@RequestParam(value = "prompt", defaultValue = "南京有什么好吃") String prompt){System.out.println("---come in chat3");return chatAssistant.chatFlux(prompt);}
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/web/94720.shtml
繁体地址,请注明出处:http://hk.pswp.cn/web/94720.shtml
英文地址,请注明出处:http://en.pswp.cn/web/94720.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LangGraph - API多种访问方式

本文介绍了Langgraph服务的四种调用方式&#xff1a;1. 通过LangGraph Studio UI界面手动测试&#xff1b;2. 使用Python SDK进行同步/异步调用&#xff1b;3. 通过REST API测试&#xff1b;4. 使用JavaScript SDK接入。Langgraph 服务端代码 graph.pyfrom langchain_openai im…

HEI-612 HART/EtherNet/IPModbus TCP 网关:打通工业通信壁垒

在工业自动化领域&#xff0c;HART 协议设备的广泛应用与以太网网络的高效管理常面临 “协议孤岛” 难题 —— 老旧 HART 传感器、变送器难以接入 EtherNet/IP 或 Modbus TCP 系统&#xff0c;数据双向交互卡顿、调试复杂、兼容性差等问题&#xff0c;严重制约生产效率提升。上…

OSPF 的工作过程、Router ID 机制、报文结构

视频版讲解>>>>>>>>>>>>>>路由协议深度解析&#xff1a;从静态路由到 OSPF 实战 一、回顾静态路由&#xff1a;拓扑与核心逻辑 我们先回到上周讲解的拓扑图&#xff0c;这张图是理解静态路由的核心载体 —— 路由器作为网段分割的…

Qt 6 与 Qt 5 存在的兼容性差异

之前有提到。我的是Qt5&#xff0c;我朋友的是Qt 6&#xff0c;由于版本不兼容问题&#xff0c;在迁移时会有问题。所以这一我们说说这两个的区别。&#xff08; 正文开始喽&#xff01; 总结来说&#xff1a;Qt5迁移至 Qt 6 需&#xff1a;1. 破坏性变更&#xff08;必须修改…

本地windows电脑部署html网页到互联网:html+node.js+ngrok/natapp

目录 核心概念&#xff1a;为什么不能直接分享HTML文件&#xff1f; 1&#xff0c;html文件修改 2&#xff0c;安装设置node.js 3&#xff0c;路由器虚拟服务器 4&#xff0c;采用ngrok工具进行内网穿透&#xff08;国外工具&#xff09; 5&#xff0c;采用natapp工具进行…

electron离线开发核心环境变量npm_config_cache

npm_config_cache 这个环境变量。它在离线环境配置中扮演着核心角色。什么是 npm_config_cache&#xff1f;npm_config_cache 是一个环境变量&#xff0c;用于直接设置 npm 的缓存目录的绝对路径。npm 在安装包时&#xff0c;会遵循一个特定的工作流程&#xff1a;检查缓存&…

CTFshow系列——命令执行web57-60

本篇文章介绍命令执行的另一种情况&#xff0c;CTFshow的Web57-60关的讲解解析&#xff1b;要想了解其它关卡可查看我以往的文章&#xff0c;感谢关注。 文章目录Web57&#xff08;新方法&#xff09;Web58&#xff08;POST型&#xff09;不可用函数可用函数Web59第二种方法&am…

域名、ip、DSN、URL

目录 1、ip 2、域名 3、DSN 4、URL 1、ip 每个连接到Internet上的主机都会分配一个IP地址&#xff0c;此ip是该计算机在互联网上的逻辑地址的唯一标识&#xff0c;计算机之间的访问就是通过IP地址来进行的。写法&#xff1a;十进制的形式&#xff0c;用“.”分开&#xff0…

【JAVA实现websocket】

JAVA实现websocket背景依赖问题代码实现测试背景 近期项目中需要用到websocket&#xff0c;实现即时通信。 依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-websocket</artifactId></depen…

2.6 提示词调优编码实战(一)

目录 写在前面 一,需求定义 二,简单提示词 2.1 代码示例 2.2 输出结果 三,提示词模版 3.1 提示词 3.1.1 任务描述 3.1.2 用户输入 3.1.3 模型输出格式 3.1.4 Prompt模版 3.2 输出结果 写在前面 前面我们总结了提示词对于模型的意义,接下来我们来通过向模型输入…

使用Stone 3D快速制作第一人称视角在线小游戏

首先得有个怪物模型&#xff0c;怪物带有idle, attack动作 然后有个场景模型&#xff0c;把怪物&#xff08;如果模型较大&#xff0c;建议使用remote-mesh来加载&#xff09;摆放到想放的位置。 给相机加上fps-controls和character组件 给所有怪物加上character组件 可以在…

嵌入式第三十七课!!!TCP机制与HTTP协议

TCP的其他机制TCP头部标志位SYN&#xff1a;请求建立连接标志位 ACK&#xff1a;响应报文标志位 PSH&#xff1a;携带数据标志位&#xff0c;通知接收方该从缓冲区读数据 FIN&#xff1a; 请求断开连接标志位 RST&#xff1a;复位标志位 URG: 紧急数据标志…

【测试】pytest测试环境搭建

使用pytest进行API测试&#xff0c;vscode运行 创建虚拟环境&#xff0c;安装pytest&#xff0c;httpx&#xff0c;requests&#xff0c;dotenvvscode中ctrlshiftp&#xff0c;选择python: Configure Tests&#xff0c;选择pytest&#xff0c;目录左侧插件testing里面可以看到有…

javaweb开发笔记——微头条项目开发

第八章 微头条项目开发 一 项目简介 1.1 微头条业务简介 微头条新闻发布和浏览平台,主要包含业务如下 用户功能 注册功能 登录功能 头条新闻 新闻的分页浏览 通过标题关键字搜索新闻 查看新闻详情 新闻的修改和删除 权限控制 用户只能修改和自己发布的头条新闻 1.…

Linux(二十二)——服务器初始化指南

文章目录前言一、配置国内 Yum 源&#xff08;加速软件安装&#xff09;二、更新系统与安装必备工具三、网络连接验证四、配置主机名五、同步时间六、配置防火墙6.1 使用 iptables6.1.1 整体思路6.1.2 详细步骤6.1.3 完整配置脚本示例6.1.4 常用管理命令6.2 使用 firewalld总结…

我用Photoshop Firefly+Blender,拯救被环境毁掉的人像大片

今日阳光正好。这样的天气对于摄影师来说是种馈赠&#xff0c;但也让我想起了这个行业最普遍也最无奈的痛点&#xff1a;我们精心策划了一场拍摄&#xff0c;模特的表现、光线的质感都近乎完美&#xff0c;但最终却因为一个平淡的阴天、一处杂乱的背景&#xff0c;或是一个无法…

【线性代数】常见矩阵类型

目录 1. 方阵(Square Matrix) 2. 对称矩阵(Symmetric Matrix) 3. 反对称矩阵 / 斜对称矩阵(Skew-Symmetric Matrix) 4. 对角矩阵(Diagonal Matrix) 5. 三角矩阵 6. 正交矩阵(Orthogonal Matrix) 7. 幂等矩阵(Idempotent Matrix) 8. 正定矩阵 / 半正定矩阵 …

达梦数据库统计信息收集

达梦数据库统计信息收集 检查统计信息收集情况 如何手动收集统计信息 查看统计信息收集结果 统计信息手动收集策略 统计信息的自动收集 检查统计信息收集情况 检查最近一次统计信息收集时间: --表的最近一次统计信息收集时间 SQL> select owner,table_name,last_analyzed…

【目标检测】论文阅读4

Fast and accurate object detector for autonomous driving based on improved YOLOv5 发表时间&#xff1a;2023年&#xff1b;期刊&#xff1a;scientific reports 论文地址 摘要 自动驾驶是人工智能的一个重要分支&#xff0c;实时准确的目标检测是保证自动驾驶车辆安全稳…

wpf之DockPanel

前言 DockPanel是一个容器控件&#xff0c;容器中的子控件通过设置DockPanel.Dock属性来调整位置 1、DockPanel.Dock DockPanel.Dock的值有Left、Right、Top、Bottom 1.1 Left 指示控件靠左停靠 1.2 Right 指示控件靠右停靠 1.3 Top 指示控件靠上停靠 1.4 Bottom 指示…