当前位置: 首页 > wzjs >正文

用lls建设一个网站sem是什么仪器

用lls建设一个网站,sem是什么仪器,手机wap网站 php,国内做外贸网站的有哪些资料解决方案 把reasoning content的东西移到content中来 并在reasoning时,手动加上标签。具体做法是截获第三方api返回的stream,并修改其中的内容,再移交给open webUI处理。 在backend\open_webui\routers\openai.py中 找到 generate_chat_com…

解决方案

把reasoning content的东西移到content中来 并在reasoning时,手动加上标签。具体做法是截获第三方api返回的stream,并修改其中的内容,再移交给open webUI处理。

在backend\open_webui\routers\openai.py中 找到 generate_chat_completion 这个函数

r = Nonesession = Nonestreaming = Falseresponse = None

下方 增加截获函数 这个方案适用于 火山 百炼 vLLM我没试过,但是思路是一样的,根据vLLM返回的chunk内容,把reasoning的部分贴到content中去就能正常显示了。

async def modify_stream_content(original_stream):start_reasoning = Trueend_reasoning = True# 逐块处理流式内容async for chunk in original_stream:# 示例:修改 chunk 内容(假设 chunk 是 JSON 字符串)try:# 1. 解码字节流为字符串decoded_chunk = chunk.decode('utf-8').lstrip('data: ').strip()# 2. 解析 JSON(根据实际格式调整)chunk_data = json.loads(decoded_chunk)# 3. 修改内容if "choices" in chunk_data and len(chunk_data["choices"]) > 0:delta = chunk_data["choices"][0].get("delta", {})# print(delta)if delta["content"] == None:delta["content"] = ""if "reasoning_content" in delta and delta["reasoning_content"] == None:delta["reasoning_content"] = ""if delta["content"] == "":if start_reasoning:delta["content"] = "<think>" + delta["content"] + delta["reasoning_content"]start_reasoning = Falseelse:delta["content"] = delta["content"] + delta["reasoning_content"]else:if end_reasoning:delta["content"] = "</think>" + delta["content"]end_reasoning = False# print(delta)# 4. 重新编码为字节流modified_chunk = f"data: {json.dumps(chunk_data)}\n\n".encode('utf-8')except (json.JSONDecodeError, KeyError) as e:# 处理错误(可选:记录日志或跳过)modified_chunk = chunk  # 保留原始数据# 5. 返回修改后的 chunkyield modified_chunk

在下方,if "text/event-stream" in r.headers.get("Content-Type", ""): 分支里。调用截获函数并返回

 # Check if response is SSEif "text/event-stream" in r.headers.get("Content-Type", ""):streaming = True# 调用截获函数modified_stream = modify_stream_content(r.content)return StreamingResponse(# r.content,modified_stream,status_code=r.status,headers=dict(r.headers),background=BackgroundTask(cleanup_response, response=r, session=session),)
http://www.dtcms.com/wzjs/468321.html

相关文章:

  • 写作网站新手苏州seo营销
  • 安徽网站设计平台今日新闻最新消息50字
  • seo网站制作公司软文代写
  • 兰州最好的网站开发公司公司产品怎样网上推广
  • 小网站开发广告联盟平台排名
  • 静态网站挂马seo电商运营是什么意思
  • 兰州 网站建设公司哪家好查收录网站
  • wordpress微商模板360seo
  • 杭州网站建站公司公司做网站需要多少钱
  • 做外汇上什么网站看新闻产品seo标题是什么
  • 企业网站营销案例网络营销专业怎么样
  • ftp怎么修改网站优化网络搜索引擎
  • 网站后期维护怎么做上海网络推广团队
  • 建个简单网站长尾关键词挖掘词工具
  • 网站首页权重门户网站怎么做
  • 免费的网站模板哪里有网站首页不收录
  • 三好街做网站的怎么制作一个网页
  • 专业网站建设公司地址搜索引擎有哪些好用
  • 个体工商户注册流程四川seo关键词工具
  • 全国市场主体登记注册服务网seo整站排名
  • 本网站建设服务于美国广州网站建设公司
  • 荆门做网站的公司裂变营销五种模式十六种方法
  • HTML网站页面建设重庆seo公司排名
  • 网站后端开发是什么seo自媒体培训
  • 怎么做网站的图片跳转程序员培训机构哪家好
  • 局域网内部如何做网站哪家公司做seo
  • seo整站优化外包哪家好北京seo外包 靠谱
  • 帮做装修设计的网站手机关键词排名优化
  • wordpress漂浮花瓣高明搜索seo
  • wordpress 引用页面百度的seo关键词优化怎么弄