当前位置: 首页 > news >正文

用FunctionCall实现文件解析(三):ChatOpenAI单例工厂

文章目录

  • 前言
  • 在BaseFactory基础上再抽一部分逻辑
    • 单例逻辑
    • 大模型逻辑
  • 以通义千问为例构建大模型工厂
  • 自定义大模型工厂

前言

在前面的文章中,我们尝试了结构和客户端的构建,接下来我们就开始新的尝试:创建ChatOpenAI实例。

在BaseFactory基础上再抽一部分逻辑

在上一篇文章中,我们完成了基类BaseFactory,并实现了ClientFactory的单例。接下来,我们进一步在BaseFactory的基础上实现ChatOpenAI的实例化。

既然ClientFactory是全局唯一的,那我们也将ChatOpenAI的工厂也定义为全局唯一的。虽然这样会使得项目始终保存每一个工厂的实例,但是起码来说,比起反复创建又销毁,这样还是稍微简单一点。

既然所有的内容都是相同的,我们不妨再将一些逻辑抽离出来。比如,工厂构造的单例逻辑和构建大模型的逻辑。

单例逻辑

我们首先将单例逻辑抽离出来。

他们都使用了一个_instance和一个_instance_lock方法,所以把这部分抽离出来:

from pydantic import BaseModel, Field
class BaseFactory(BaseModel):base_url: str = Field(..., description="API Base URL")api_key: str = Field(..., description="API Key")timeout: float = Field(60.0, description="API Timeout")# ---------- 单例相关 ----------_instance: ClassVar[Optional["ClientFactory"]] = None_instance_lock: ClassVar[Lock] = Lock()# ===== 单例入口 =====@classmethoddef get_instance(cls, **kwargs) -> "ClientFactory":"""双重检查锁的线程安全单例"""if cls._instance is None:with cls._instance_lock:if cls._instance is None:cls._instance = cls(**kwargs)return cls._instance

看上去没啥问题。

P.S.:

根据这篇文章的描述,类方法get_instance虽然定义在了父类,但是子类继承之后,所传入的cls实际上就成了子类。所以,如果父类有这个方法,子类方法同样会按照父类的逻辑实现单例。非常的方便。

大模型逻辑

大模型相对来说更简单一些。既然已经传入了base_urlapi_keytimeout,那么基本上也就能够确定一系列的ChatOpenAI对象了。剩下的参数我们就放到build方法中,让build去创建对应的对象就好了。

但是呢,build方法如果放在BaseFactory中,那么BaseFactory的功能也就太多了,这看起来不太好。我们直接继承一个新的:

from httpx import Client
from langchain_openai.chat_models.base import ChatOpenAI
class BaseLLMFactory(BaseFactory):def build(self,model: str,temperature: float = 0.7,max_tokens: int = 256,client: Client = None) -> ChatOpenAI:return ChatOpenAI(model=model,temperature=temperature,max_tokens=max_tokens,client=client)

看着不错。当然,你也可以将client设置为必填或者在方法中检测并报错,这都是比较细节的小问题了。

以通义千问为例构建大模型工厂

BaseLLMFactory的基础上,我们就可以进一步确定一些具体厂商的大模型啦。比如说,我们创建一个千问大模型的类:

class TongyiFactory(BaseLLMFactory):...

是的,没错,他什么逻辑都不需要,定义出来就够用了。

我们尝试着使用一下:

import streamlit as st
from langchain_openai.chat_models.base import ChatOpenAIfrom factory.client import Clientllm: ChatOpenAI = TongyiFactory.get_instance(base_url=st.secrets["DASH_URL"],api_key=st.secrets["DASH_KEY"],_client=ClientFactory.get_instance(base_url=st.secrets["DASH_URL"],api_key=st.secrets["DASH_KEY"],timeout=st.secrets["DASH_TIMEOUT"],).client(),
).build(model="qwen-max",
)

看着好像有那么一点不太像python,甚至有点像Java

那我们再换个写法:

client = ClientFactory.get_instance(base_url=st.secrets["DASH_URL"],api_key=st.secrets["DASH_KEY"],timeout=st.secrets["DASH_TIMEOUT"],
).client()
llm: ChatOpenAI = TongyiFactory.get_instance(base_url=client.base_url,api_key=client.api_key,_client = client,
).build()

嗯……总之,挑你喜欢的方案就行。

自定义大模型工厂

既然通义千问可以,我自定义的行不行?

比如说,现在我在华为昇腾的卡上部署了一个DeepSeek-R1-Dstill-Llama-70B模型,于是我就用这样的模型再配一个工厂:

class DeepSeekFactory(BaseLLMFactory):...

同样的,定义出来就够用了。

试一下:

import streamlit as st
from langchain_openai.chat_models.base import ChatOpenAIfrom factory.client import ClientFactoryllm: ChatOpenAI = DeepSeekFactory.get_instance(base_url=st.secrets["deepseek_url"],api_key=st.secrets["deepseek_api_key"],_client = ClientFactory.get_instance(base_url=st.secrets["deepseek_url"],api_key=st.secrets["deepseek_api_key"],timeout=st.secrets["deepseek_timeout"],).client()
).build(model="DeepSeek-70B",temperature=0.7,max_tokens=4096,
)

然后就可以开心的使用了。

当然,你完全可以自己定义的时候将一些参数配死,这样的话build过程也就更简单了。

http://www.dtcms.com/a/276399.html

相关文章:

  • lnmp环境搭建
  • 使用Pycharm集成开发工具远程调试部署在虚拟机上的flask项目:超级详细的完整指南
  • springboot AOP面向切面编程
  • SpringAI实现聊天记录保存到MySQL
  • 连接池的核心接口和常用属性
  • ReentrantLock 源码解析与 AQS 扩展
  • 首次让机器人具备类人的「主动感知」能力
  • 淘宝商品评论API接口操作详解
  • oc分类和swift扩展有哪些区别
  • 火山引擎:字节跳动的技术赋能初解
  • AI智能体 | 使用Coze制作一键生成单词洗脑循环视频,一天批量生成100条视频不是梦!(附保姆级教程)
  • NW728NW733美光固态闪存NW745NW746
  • HashMap的原理
  • 技术面试问题总结二
  • 多模态大模型》多模态基础模型》多模态对齐、融合和表示
  • 关于数字签名
  • xml映射文件的方式操作mybatis
  • 集合类
  • 【2024CSP-J初赛】阅读程序(1)试题详解
  • python-while循环
  • Raft-领导者选举
  • import 和require的区别
  • python-range函数
  • jxWebUI--数据表
  • Anthropic:从OpenAI分支到AI领域的领军者
  • 连接池深度解析:原理、实现与最佳实践
  • 第六章 公司分析——基础
  • Kubernetes Volume存储卷概念
  • 骁龙8 Gen4前瞻:台积3nm工艺如何平衡性能与发热
  • 信号量核心机制说明及实际应用(结合ArduPilot代码)