当前位置： 首页 > news >正文

LangChain4J-(3)-模型参数配置

news 2025/8/28 11:00:00

LangChain4j 提供了灵活的模型参数配置方式，允许你根据不同的 AI 模型（如 OpenAI、GPT-4、Anthropic 等）设置各种参数来控制生成结果。

后面手撸代码继续在之前章节的代码上拓展

一、日志配置（Logging）

在 LangChain4j 中，日志（logging）相关参数主要用于控制是否记录模型的请求和响应信息，这对于开发调试、监控 API 调用内容以及排查问题非常有用。

将日志级别调整为debug级别，同时配置上langchain日志输出开关才能有效。

step1：修改LLMConfig类

package com.xxx.demo.config;import dev.langchain4j.model.chat.ChatModel;
import dev.langchain4j.model.openai.OpenAiChatModel;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;@Configuration
public class LLMConfig {@Bean(name = "qwen")public ChatModel chatModelQwen(){return OpenAiChatModel.builder().apiKey(System.getenv("aliqwen-apikey")).modelName("qwen-plus").baseUrl("https://dashscope.aliyuncs.com/compatible-mode/v1").logRequests(true) // 日志界别设置为debug才有效.logResponses(true)// 日志界别设置为debug才有效.build();}}

step2:修改YML文件

server.port=9005spring.application.name=langchain4j-0301-parameters# 只有日志级别调整为debug级别，同时配置以上 langchain 日志输出开关才有效
logging.level.dev.langchain4j = DEBUG

step3：在控制台检查结果

二、监控（Observability）

LangChain4j 的 Observability（可观测性）配置主要涉及日志记录、指标监控及链路追踪等方面

step1：先实现ChatModelListener

package com.xxx.demo.listener;import cn.hutool.core.util.IdUtil;
import dev.langchain4j.model.chat.listener.ChatModelErrorContext;
import dev.langchain4j.model.chat.listener.ChatModelListener;
import dev.langchain4j.model.chat.listener.ChatModelRequestContext;
import dev.langchain4j.model.chat.listener.ChatModelResponseContext;
import lombok.extern.slf4j.Slf4j;@Slf4j
public class TestModeLlistener  implements ChatModelListener {@Overridepublic void onRequest(ChatModelRequestContext requestContext){// onRequest配置的k:v键值对，在onResponse阶段可以获得，上下文传递参数好用String uuidValue = IdUtil.simpleUUID();requestContext.attributes().put("TraceID",uuidValue);log.info("请求参数requestContext:{}", requestContext+"\t"+uuidValue);}@Overridepublic void onResponse(ChatModelResponseContext responseContext){Object object = responseContext.attributes().get("TraceID");log.info("返回结果responseContext:{}", object);}@Overridepublic void onError(ChatModelErrorContext errorContext){log.error("请求异常ChatModelErrorContext:{}", errorContext);}
}

step2:再次拓展LLMConfig类

package com.xxx.demo.config;import com.bbchat.demo.listener.TestModeLlistener;
import dev.langchain4j.model.chat.ChatModel;
import dev.langchain4j.model.openai.OpenAiChatModel;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import java.util.List;@Configuration
public class LLMConfig {@Bean(name = "qwen")public ChatModel chatModelQwen(){return OpenAiChatModel.builder().apiKey(System.getenv("aliqwen-apikey")).modelName("qwen-plus").baseUrl("https://dashscope.aliyuncs.com/compatible-mode/v1").logRequests(true) // 日志界别设置为debug才有效.logResponses(true)// 日志界别设置为debug才有效.listeners(List.of(new TestModeLlistener())) //监听器.build();}}

step3:验证结果

三、重试机制（Retry Configuration）

在 LangChain4j 中配置重试机制，核心是通过 RetryAssistant（重试助手）或结合底层依赖（如 OkHttp、Resilience4j 等）实现，用于解决 LLM 调用过程中的网络波动、API 限流、临时服务不可用等问题。下面代码简单做展示一下效果，更加详细的配置请大家看官网查API。

再次拓展LLMConfig

package com.xxx.demo.config;import com.bbchat.demo.listener.TestModeLlistener;
import dev.langchain4j.model.chat.ChatModel;
import dev.langchain4j.model.openai.OpenAiChatModel;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import java.util.List;@Configuration
public class LLMConfig {@Bean(name = "qwen")public ChatModel chatModelQwen(){return OpenAiChatModel.builder().apiKey(System.getenv("aliqwen-apikey")).modelName("qwen-plus").baseUrl("https://dashscope.aliyuncs.com/compatible-mode/v1").logRequests(true) // 日志界别设置为debug才有效.logResponses(true)// 日志界别设置为debug才有效.listeners(List.of(new TestModeLlistener())) //监听器.maxRetries(2)// 重试机制共计2次.build();}}

四、超时机制（timeout）

继续拓展LLMConfig

package com.xxx.demo.config;import com.bbchat.demo.listener.TestModeLlistener;
import dev.langchain4j.model.chat.ChatModel;
import dev.langchain4j.model.openai.OpenAiChatModel;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import java.time.Duration;
import java.util.List;@Configuration
public class LLMConfig {@Bean(name = "qwen")public ChatModel chatModelQwen(){return OpenAiChatModel.builder().apiKey(System.getenv("aliqwen-apikey")).modelName("qwen-plus").baseUrl("https://dashscope.aliyuncs.com/compatible-mode/v1").logRequests(true) // 日志界别设置为debug才有效.logResponses(true)// 日志界别设置为debug才有效.listeners(List.of(new TestModeLlistener())) //监听器.maxRetries(2)// 重试机制共计2次.timeout(Duration.ofSeconds(2))//向大模型发送请求，2s没有响应将中断请求并提示reqquest time out.build();}}

找一个大模型思考肯定超过2s问题测试一下即可见效果

五、流式输出（Response Streaming）

流式输出(StreamingOutput)是一种逐步返回大模型生成结果的技术，生成一点返回一点，允许服务器将响应内容。分批次实时传输给客户端，而不是等待全部内容生成完毕后再一次性返回。

 这种机制能显著提升用户体验，尤其适用于大模型响应较慢的场景（如生成长文本或复杂推理结果）

step1:修改一下我们的pom文件，确认下langchain4j原生maven坐标三件套

  		<dependency><groupId>dev.langchain4j</groupId><artifactId>langchain4j-open-ai</artifactId></dependency><dependency><groupId>dev.langchain4j</groupId><artifactId>langchain4j</artifactId></dependency><dependency><groupId>dev.langchain4j</groupId><artifactId>langchain4j-reactor</artifactId></dependency>

step2:修改下yml文件

server.port=9005spring.application.name=langchain4j-0301-parameters# 只有日志级别调整为debug级别，同时配置以上 langchain 日志输出开关才有效
logging.level.dev.langchain4j = DEBUG# 设置响应的字符编码，避免流式返回输出乱码
server.servlet.encoding.charset=utf-8
server.servlet.encoding.enabled=true
server.servlet.encoding.force=true

step3:ChatAssistant接口

package com.xxx.demo.service;
import reactor.core.publisher.Flux;public interface ChatAssistant {String chat(String prompt);Flux<String> chatFlux(String prompt);
}

step4：重写LLMConfig

package com.xxx.demo.config;import com.bbchat.demo.listener.TestModeLlistener;
import com.bbchat.demo.service.ChatAssistant;
import dev.langchain4j.model.chat.ChatModel;
import dev.langchain4j.model.chat.StreamingChatModel;
import dev.langchain4j.model.openai.OpenAiChatModel;
import dev.langchain4j.model.openai.OpenAiStreamingChatModel;
import dev.langchain4j.service.AiServices;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import java.util.List;@Configuration
public class LLMConfig {/*普通对话接口*/@Bean(name = "qwen")public ChatModel chatModelQwen(){return OpenAiChatModel.builder().apiKey(System.getenv("aliqwen-apikey")).modelName("qwen-plus").baseUrl("https://dashscope.aliyuncs.com/compatible-mode/v1").logRequests(true) // 日志界别设置为debug才有效.logResponses(true)// 日志界别设置为debug才有效.listeners(List.of(new TestModeLlistener())) //监听器//  .maxRetries(2)// 重试机制共计2次// .timeout(Duration.ofSeconds(2))//向大模型发送请求，2s没有响应将中断请求并提示reqquest time out.build();}/*流式对话接口*/@Beanpublic StreamingChatModel streamingChatModel(){return OpenAiStreamingChatModel.builder().apiKey(System.getenv("aliqwen-apikey")).modelName("qwen-plus").baseUrl("https://dashscope.aliyuncs.com/compatible-mode/v1").build();}@Beanpublic ChatAssistant chatAssistant(StreamingChatModel streamingChatModel){return AiServices.create(ChatAssistant.class, streamingChatModel);}}

step5:写一个新的controller，分别调用一下就能体验流式输出了。

接口地址

核心逻辑

返回类型

适用场景

/chatstream/chat

直接调用 StreamingChatModel 的 chat 方法，通过 Flux.create 包装流式响应

Flux<String>

前端需要流式接收文本（如 SSE）

/chatstream/chat2

直接调用 StreamingChatModel，控制台打印流式结果，无返回值

void

后端调试（无前端交互）

/chatstream/chat3

调用自定义 ChatAssistant 的 chatFlux 方法，封装后返回流式响应

Flux<String>

高内聚场景（业务逻辑封装）

package com.xxx.demo.controller;import com.bbchat.demo.service.ChatAssistant;
import dev.langchain4j.model.chat.StreamingChatModel;
import dev.langchain4j.model.chat.response.ChatResponse;
import dev.langchain4j.model.chat.response.StreamingChatResponseHandler;
import jakarta.annotation.Resource;
import lombok.extern.slf4j.Slf4j;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;@RestController
@Slf4j
public class StreamingChatModelController {@Resource //直接使用 low-level LLM APIprivate StreamingChatModel streamingChatLanguageModel;@Resource //自己封装接口使用 high-level LLM APIprivate ChatAssistant chatAssistant;// http://localhost:9005/chatstream/chat?prompt=天津有什么好吃的@GetMapping(value = "/chatstream/chat")public Flux<String> chat(@RequestParam("prompt") String prompt){return Flux.create(stringFluxSink -> {streamingChatLanguageModel.chat(prompt, new StreamingChatResponseHandler(){@Overridepublic void onPartialResponse(String s){stringFluxSink.next(s);}@Overridepublic void onCompleteResponse(ChatResponse completeResponse){stringFluxSink.complete();}@Overridepublic void onError(Throwable throwable){stringFluxSink.error(throwable);}});});}@GetMapping(value = "/chatstream/chat2")public void chat2(@RequestParam(value = "prompt", defaultValue = "北京有什么好吃") String prompt){System.out.println("---come in chat2");streamingChatLanguageModel.chat(prompt, new StreamingChatResponseHandler(){@Overridepublic void onPartialResponse(String partialResponse){System.out.println(partialResponse);}@Overridepublic void onCompleteResponse(ChatResponse completeResponse){System.out.println("---response over: "+completeResponse);}@Overridepublic void onError(Throwable throwable){throwable.printStackTrace();}});}@GetMapping(value = "/chatstream/chat3")public Flux<String> chat3(@RequestParam(value = "prompt", defaultValue = "南京有什么好吃") String prompt){System.out.println("---come in chat3");return chatAssistant.chatFlux(prompt);}
}

http://www.dtcms.com/a/353993.html

相关文章：

  • AI生成音乐模型发展现状与前景
  • prettier、eslint、stylelint在项目中使用
  • 理解虚拟 DOM：前端开发中的高效渲染利器
  • Linux操作系统——TCP服务端并发模型
  • Java全栈开发面试实战：从基础到复杂场景的深度解析
  • 【51单片机】【protues仿真】基于51单片机点阵屏系统
  • 全域管控，一触可达：复合机器人远程监控方案重塑智能制造
  • Boosting（提升法）详解
  • Spring Boot + Dubbo 实战教程：打造高性能微服务架构
  • 深度学习12 Reinforcement Learning with Human Feedback
  • openwrt ubus 深入分析
  • C# 字符和字符串
  • 怎么解决大模型幻觉问题
  • 【完全二叉树】 P10990 [蓝桥杯 2023 国 Python A] 彩色二叉树|普及+
  • 车辆识别码vin构成
  • python // 和%区别
  • K8S EFK日志收集全流程实战
  • MySQL数据库精研之旅第十二期：探秘视图，数据库中的 “虚拟表” 魔法
  • stm32 hal库spi dma_tx_rx的几个关键函数执行过程jlink trace分析
  • Rust 登堂 之 迭代器Iterator（三）
  • 如何构建灵活、可控、可扩展的多云网络底座
  • 【高级机器学习】1. Hypothesis 与 Objective Function
  • solidworks2024保姆级安装教程及解锁版安装包下载！
  • 【编号478】美国土地利用数据本土、阿拉斯加、夏威夷岛土地利用数据
  • 蛋白质残基 - 残基距离计算：单蛋白工具与批量处理方案
  • 【目标检测】论文阅读5
  • 记录一次内存问题排查
  • 比赛竞猜算法设计思路
  • MySQL InnoDB vs MyISAM
  • 【系统分析师】高分论文：论信息系统开发方法及应用