当前位置: 首页 > news >正文

湘潭做网站 去磐石网络建湖网站优化公司

湘潭做网站 去磐石网络,建湖网站优化公司,网站建设研究意义,wordpress在哪登陆OpenAI 流式的代码: 首选一般请使用os.getenv 去读环境变量的内容 注意使用pip install python-dotenv 的安装方法 load_dotenv 是这个库提供的一个函数,用于读取 .env 文件并将其中定义的键值对设置为系统的环境变量。 默认情况下,load_…

OpenAI 流式的代码:

首选一般请使用os.getenv 去读环境变量的内容

注意使用pip install python-dotenv 的安装方法

load_dotenv 是这个库提供的一个函数,用于读取 .env 文件并将其中定义的键值对设置为系统的环境变量。

默认情况下,load_dotenv() 会自动查找当前目录下的 .env 文件。如果文件不在默认路径,可以通过参数指定,例如 load_dotenv(‘/path/to/.env’)。

为什么代码里用 dotenv 而不是 python_dotenv?

在 Python 中,导入模块时使用的是库的模块名,而不是 PyPI 上的包名。python-dotenv 这个包安装后,提供了一个名为 dotenv 的模块供导入。这是由库开发者决定的命名约定。例如:

  • PyPI 包名:python-dotenv
  • 导入时的模块名:dotenv

流式代码 类 (一键运行)

from openai import  AsyncOpenAI
from dotenv import load_dotenv
import osload_dotenv()class AsyncOpenAIOut:def __init__(self):self.api_key = os.getenv("OPENAI_API_KEY")self.base_url = os.getenv("OPENAI_BASE_URL")self.oai_client = AsyncOpenAI(api_key=self.api_key, base_url=self.base_url)self.model = os.getenv("OPENAI_MODEL")async def gpt_stream(self, user_message: str,model: str = os.getenv("OPENAI_MODEL"),history: list[dict] = [],system_prompt: str = "") :messages = []if history:messages.extend(history)if system_prompt:messages.extend([{"role": "system", "content": system_prompt}])messages.append({"role": "user", "content": user_message})response = await self.oai_client.chat.completions.create(model=model,messages=messages,stream=True)async for chunk in response:if chunk.choices[0].delta.content:yield chunk.choices[0].delta.contentasync_openai_out = AsyncOpenAIOut()if __name__ == "__main__":async def test_gpt_stream():async for chunk in async_openai_out.gpt_stream(user_message="写300字作文",system_prompt="You are a helpful assistant."):print(chunk)import asyncioasyncio.run(test_gpt_stream())

这里面有几点需要注意:

简短回答:print(chunk) 是 同步操作会在当前事件循环中执行完毕后才继续但它不是 I/O 密集型操作,所以不会造成实际的“阻塞”问题,特别是在异步函数中逐步输出内容的场景下,它是可接受的。

想确保异步非阻塞输出:

        async for chunk in async_openai_out.gpt_stream(user_message="写300字作文",system_prompt="You are a helpful assistant."):# print(chunk)await asyncio.to_thread(print, chunk)  # 在后台线程执行 print

异步生成器(Async Generator) 的用法,结合了 Python 的异步编程(async for)和生成器(yield)机制。

在异步迭代 response 中的每个 chunk,如果它有内容,就通过 yield 一块一块地“流式返回”。

async for chunk in response:if chunk.choices[0].delta.content:yield chunk.choices[0].delta.content

对比for : 普通for是同步迭代

async for是异步迭代,比如网络流、WebSocket、OpenAI 的 Stream 响应等。

yield 是生成器的关键,它不是“返回”值,而是“产出”值(可以被迭代一次)。

http://www.dtcms.com/a/587979.html

相关文章:

  • 公司建一个网站广东手机网站制作电话
  • 优秀的摄影作品网站网站制作书籍推荐
  • 中文电商网站模板好看到让人久久不忘的电影
  • Java 类高级特性
  • 银川公司做网站咸阳网站建设方案
  • Python 错误类型
  • 中关村在线网站的建设网站建设空心正方形
  • 长沙网站排名优化费用四川建设网app
  • 设计图片免费素材网站网站文字不能编辑器
  • 如何自己做网站手机特定网站开发
  • 如何建立一个网站做网站协议书
  • 获取网站后台地址建站的步骤
  • 网站备案能查到什么东西网站建设公司dz000
  • 青岛网站营销推广网站备案照片怎么弄
  • h5网站价格方案网站开发 流程
  • 免费做h5的网站小程序制作开发平台
  • 重庆网站建设中心wordpress信用卡
  • 临清网站建设公司最近的新闻事件
  • 做散客机票的网站如何推广注册城乡规划师一年能挂多少钱
  • seo怎么做自己的网站玉环住房与城乡建设规划局网站
  • 自助建设网站软件软件公司薪酬绩效方案
  • 0基础网站搭建教程百度数据平台
  • 深度科技商业官方网站手机网站格式商城
  • 广州外贸营销型网站兰州起点网站建设
  • 网站建设方案对比分析报告seo谷歌外贸推广
  • 上网建站全国十大室内设计师
  • 网站建设和电子商务的关系公司网站建设费计入什么科目
  • 高州手机网站建设公司甘肃省建设局网站首页
  • 亚马逊网站运营怎么做站长之家网页模板
  • 西安网站制作定制济南传承网络李聪