当前位置: 首页 > news >正文

如何本地部署RWKV-Runner尝鲜CPU版

环境:

RWKV-Runner 1.7.1

Win10专业版

问题描述:

如何本地部署RWKV-Runner尝鲜CPU版

在这里插入图片描述
RWKV(发音为 RwaKuv)是一个具有 GPT 级LLM性能的 RNN,也可以像 GPT 转换器一样直接训练(可并行化)

本项目旨在消除大语言模型的使用门槛,全自动为你处理一切,你只需要一个仅仅几MB的可执行程序。此外本项目提供了与OpenAI API兼容的接口,这意味着一切ChatGPT客户端都是RWKV客户端

解决方案:

1.下载RWKV-Runner.exe程序
在这里插入图片描述2.主页面
在这里插入图片描述

3.下载对应模型,在线下载很慢,可能需要科学
在这里插入图片描述4.如网盘下载模型放如models文件夹内,我下了1B5这个

在这里插入图片描述

5.开始也可以直接点主页右下角运行,然后按提示操作,会自动下载对应所缺的东西(python等等一些东西)

在这里插入图片描述6.cpu运行会提示改配置里这

在这里插入图片描述

7.最后点运行
在这里插入图片描述
运行成功

在这里插入图片描述

测试对话
在这里插入图片描述

相关文章:

  • odrive环境构筑问题
  • R语言绘图 | 使用scplotter包绘制细胞间通信图
  • 【超详细】一文解决更新澎湃2.0后LSPose失效问题
  • STM32 FATFS - 在flash上运行fatfs
  • 文章记单词 | 第15篇(六级)
  • Java笔记2——编程基础
  • 高效内存位操作:如何用C++实现数据块交换的性能飞跃?
  • STM32技能综合巩固
  • 使用 Vue 重构 RAGFlow 实现聊天功能
  • 第十二届蓝桥杯省赛软件类(cc++组)
  • 一场国际安全厂商的交流会议简记
  • 移动端浏览器调用摄像头失败,需要https,配置开发环境证书
  • 尚硅谷2019版Java异常处理篇笔记记录
  • Ranger一分钟
  • 步进电机控制频率解析:500 Hz 还是 500×256 Hz?
  • 基于大模型的房间隔缺损手术全流程预测与方案优化研究报告
  • 【56】数组指针:指针穿梭数组间
  • Python数据类型-list
  • 传统汽车 HMI 设计 VS 新能源汽车 HMI 设计,有何不同?
  • Spring Boot向Vue发送消息通过WebSocket实现通信
  • 复旦建校120周年|迎来复旦大学艺术馆开馆
  • 张永宁任福建宁德市委书记
  • 澎湃思想周报|《混沌少年时》与青少年社媒禁令;自雇陷阱
  • 浦江潮涌征帆劲,上海以高质量发展服务全国发展大局
  • 俄需要达成怎样的特别军事行动结果?普京:包含四个方面
  • 坚决打好产业生态培育攻坚战!陈吉宁调研奉贤区