当前位置: 首页 > wzjs >正文

用lls建设一个网站网络营销师报名入口

用lls建设一个网站,网络营销师报名入口,asp动态网站开发教程,企业备案 网站服务内容解决方案 把reasoning content的东西移到content中来 并在reasoning时,手动加上标签。具体做法是截获第三方api返回的stream,并修改其中的内容,再移交给open webUI处理。 在backend\open_webui\routers\openai.py中 找到 generate_chat_com…

解决方案

把reasoning content的东西移到content中来 并在reasoning时,手动加上标签。具体做法是截获第三方api返回的stream,并修改其中的内容,再移交给open webUI处理。

在backend\open_webui\routers\openai.py中 找到 generate_chat_completion 这个函数

r = Nonesession = Nonestreaming = Falseresponse = None

下方 增加截获函数 这个方案适用于 火山 百炼 vLLM我没试过,但是思路是一样的,根据vLLM返回的chunk内容,把reasoning的部分贴到content中去就能正常显示了。

async def modify_stream_content(original_stream):start_reasoning = Trueend_reasoning = True# 逐块处理流式内容async for chunk in original_stream:# 示例:修改 chunk 内容(假设 chunk 是 JSON 字符串)try:# 1. 解码字节流为字符串decoded_chunk = chunk.decode('utf-8').lstrip('data: ').strip()# 2. 解析 JSON(根据实际格式调整)chunk_data = json.loads(decoded_chunk)# 3. 修改内容if "choices" in chunk_data and len(chunk_data["choices"]) > 0:delta = chunk_data["choices"][0].get("delta", {})# print(delta)if delta["content"] == None:delta["content"] = ""if "reasoning_content" in delta and delta["reasoning_content"] == None:delta["reasoning_content"] = ""if delta["content"] == "":if start_reasoning:delta["content"] = "<think>" + delta["content"] + delta["reasoning_content"]start_reasoning = Falseelse:delta["content"] = delta["content"] + delta["reasoning_content"]else:if end_reasoning:delta["content"] = "</think>" + delta["content"]end_reasoning = False# print(delta)# 4. 重新编码为字节流modified_chunk = f"data: {json.dumps(chunk_data)}\n\n".encode('utf-8')except (json.JSONDecodeError, KeyError) as e:# 处理错误(可选:记录日志或跳过)modified_chunk = chunk  # 保留原始数据# 5. 返回修改后的 chunkyield modified_chunk

在下方,if "text/event-stream" in r.headers.get("Content-Type", ""): 分支里。调用截获函数并返回

 # Check if response is SSEif "text/event-stream" in r.headers.get("Content-Type", ""):streaming = True# 调用截获函数modified_stream = modify_stream_content(r.content)return StreamingResponse(# r.content,modified_stream,status_code=r.status,headers=dict(r.headers),background=BackgroundTask(cleanup_response, response=r, session=session),)
http://www.dtcms.com/wzjs/316809.html

相关文章:

  • 书香气的域名做网站seo标题优化的心得总结
  • 网站功能需求用什么做电商网站建设报价
  • 重庆有专业做网站的吗长沙优化排名
  • 安卓app开发需要的技术seo视频教程百度云
  • 三合一网站开发教程seo优化怎么做
  • 网站开发简述成都seo达人
  • 单页面网站现在域名查询站长之家
  • 北京网站制作百度推广培训网站推广
  • 网站 怎么 做压力测试电商推广和网络推广的策略
  • 网上最好购物网站百度广告推广价格
  • 电子商务网站建设与运营方向简述网站建设的一般流程
  • 坪山商城网站建设哪家公司靠谱关键词查询工具有哪些
  • 招聘类网站如何做福州seo建站
  • 国资委网站建设方案百度资源搜索引擎
  • 做网站找哪家好思南全网seo
  • 仙霞新村街道网站建设企业线上培训平台
  • 在火炉做网站公园坐什么车2020最成功的网络营销
  • 时时彩网站代理怎么做长沙sem培训
  • 字体设计教程网站新浪博客seo
  • 电商网站怎么建设天天网站
  • 东莞企业怎么做网站建设技能培训班有哪些
  • b站推广软件网站关键词优化排名
  • 怎么制作网站的链接宏站内免费推广有哪些
  • 上海十大外贸公司白帽seo是什么
  • 做网站需要硬件软件html简单网页成品
  • 文化馆网站建设方案开鲁网站seo免费版
  • 积分网站建设网站seo优化8888
  • 网站 虚拟主机 操作系统小程序开发流程详细
  • 化妆品网站模版免费下载锦绣大地seo官网
  • 透明网站模板企业如何做网站