当前位置: 首页 > wzjs >正文

网站建设百度云资源做暧小说在线观看网站

网站建设百度云资源,做暧小说在线观看网站,影院资讯 wordpress,4399网站开发者解决方案 把reasoning content的东西移到content中来 并在reasoning时,手动加上标签。具体做法是截获第三方api返回的stream,并修改其中的内容,再移交给open webUI处理。 在backend\open_webui\routers\openai.py中 找到 generate_chat_com…

解决方案

把reasoning content的东西移到content中来 并在reasoning时,手动加上标签。具体做法是截获第三方api返回的stream,并修改其中的内容,再移交给open webUI处理。

在backend\open_webui\routers\openai.py中 找到 generate_chat_completion 这个函数

r = Nonesession = Nonestreaming = Falseresponse = None

下方 增加截获函数 这个方案适用于 火山 百炼 vLLM我没试过,但是思路是一样的,根据vLLM返回的chunk内容,把reasoning的部分贴到content中去就能正常显示了。

async def modify_stream_content(original_stream):start_reasoning = Trueend_reasoning = True# 逐块处理流式内容async for chunk in original_stream:# 示例:修改 chunk 内容(假设 chunk 是 JSON 字符串)try:# 1. 解码字节流为字符串decoded_chunk = chunk.decode('utf-8').lstrip('data: ').strip()# 2. 解析 JSON(根据实际格式调整)chunk_data = json.loads(decoded_chunk)# 3. 修改内容if "choices" in chunk_data and len(chunk_data["choices"]) > 0:delta = chunk_data["choices"][0].get("delta", {})# print(delta)if delta["content"] == None:delta["content"] = ""if "reasoning_content" in delta and delta["reasoning_content"] == None:delta["reasoning_content"] = ""if delta["content"] == "":if start_reasoning:delta["content"] = "<think>" + delta["content"] + delta["reasoning_content"]start_reasoning = Falseelse:delta["content"] = delta["content"] + delta["reasoning_content"]else:if end_reasoning:delta["content"] = "</think>" + delta["content"]end_reasoning = False# print(delta)# 4. 重新编码为字节流modified_chunk = f"data: {json.dumps(chunk_data)}\n\n".encode('utf-8')except (json.JSONDecodeError, KeyError) as e:# 处理错误(可选:记录日志或跳过)modified_chunk = chunk  # 保留原始数据# 5. 返回修改后的 chunkyield modified_chunk

在下方,if "text/event-stream" in r.headers.get("Content-Type", ""): 分支里。调用截获函数并返回

 # Check if response is SSEif "text/event-stream" in r.headers.get("Content-Type", ""):streaming = True# 调用截获函数modified_stream = modify_stream_content(r.content)return StreamingResponse(# r.content,modified_stream,status_code=r.status,headers=dict(r.headers),background=BackgroundTask(cleanup_response, response=r, session=session),)

文章转载自:

http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://00000000.jxmjr.cn
http://www.dtcms.com/wzjs/612954.html

相关文章:

  • 优设网站官网南京中企动力有限公司
  • 湛江网站建设策划方案12306网站开发人员
  • 山东省建设局拖欠工资网站企业公示信息查询系统全国
  • 网站底部版权代码直播代运营公司
  • 网站托管如何收费丹阳网络营销
  • 深圳市企业网站seo营销工具h5网站系统
  • 提高自己网站云南手机网站建设公司
  • 单位网站源码配送网站开发
  • 山东省东营市建设局网站建设外贸网站哪家好
  • 深圳建设网站培训机构做网站搞活动
  • 网站建设价格怎么算wordpress副标题调用
  • 信用体系建设网站维运工作制度用虚拟机做服务器搭建网站
  • 做网站只有域名快速建站费用
  • 网站建设时怎么附加数据库建筑设计服务平台
  • 网站开发厦门企业网站建设公司价格
  • 曲阳网站建设推广账号权重查询入口
  • 智能网站推广软件大良外贸网站设计
  • 企业网站备案怎么做做拍卖网站多少钱
  • 如何免费做网站 详细点说前端网站页面模板
  • 上海高端模板建站建立网站平台
  • 男女做羞羞羞的事视频网站公司网站网站不备案
  • 找工程做在哪个网站?织梦网站内部优化
  • 山东外贸网站建设怎么样全网营销包括什么
  • 自动交换友情链接游戏优化大师手机版
  • 如何通过网站获取qqeechina电子工程网
  • 网站备案号注销查询什么软件可以做网站动图
  • 美的集团网站建设网站建设实训报告作业
  • 苏州网站建设狮山路网络在线培训网站建设方案
  • linux做ppt下载网站做网站虚拟主机价格
  • 昌吉做网站网站建设中 油财宝