当前位置: 首页 > news >正文

deepseek 70b 部署需要的配置



两张3090 24G跑deepseek 70b还挺流畅_哔哩哔哩_bilibili

双4090部署Deepseek-R1 每秒130tokens_哔哩哔哩_bilibili

万元服务器运行满血DeepSeek!全网最全低成本部署方案+硬件采购避坑指南!KTransformers方案+Unsloth动态量化方案详解!_哔哩哔哩_bilibili

 

总结:

看需求

- 如果只是想自己部署玩玩,2x24的3090或4090就够
- 如果是小团队用,4x4090
- 如果是追求响应速度和高并发,建议最少a100x2或h800x2
总之,显存不够内存来凑,跑是都能跑起来,主要看每秒输出token数。

http://www.dtcms.com/a/37396.html

相关文章:

  • Spring Boot电影评论网站系统设计与实现
  • 【redis】数据类型之hyperloglog
  • 了解模型压缩与加速
  • 【Arxiv 大模型最新进展】北大 Parenting 方法登场:参数魔法解锁检索增强语言模型新高度!
  • leetcode_动态规划和递归 509. 斐波那契数
  • Compose 动画,让页面动起来
  • 2014年下半年试题一:论软件需求管理
  • 创建型模式 - 建造者模式 (Builder Pattern)
  • ProGuard加密混淆SpringBoot应用代码
  • RTSP中RTP/RTCP协议栈、NTP同步及QoS机制
  • hutool工具类的DateUtil和LocalDateTimeUtil
  • AMD GPU 的 Context Roll机制
  • MyBatis简明教程
  • python爬虫学习第十一篇爬取指定类型数据
  • C 语言结构体:从入门到进阶的全面解析
  • 赋能农业数字化转型 雏森科技助力“聚农拼”平台建设
  • pytorch基础-nn.linear
  • 【软件测试阶段一】【软件测试:确保项目质量的关键防线】
  • c++day5
  • Spring Boot + Vue 接入腾讯云人脸识别API(SDK版本3.1.830)
  • 【Elasticsearch】使用Postman操作es的_bulk批量操作
  • Redis面试知识点总结
  • 【原创工具】文件清单生成器 By怜渠客
  • 【算法设计与分析】(一)介绍算法与复杂度分析
  • WEEX交易所安全教學:如何應對剪切板被劫持駭客攻擊?
  • 复合字面量
  • 第十八:路由传参 query
  • Jupyter Notebook中使用GPU进行计算
  • ubuntu离线安装Ollama并部署Llama3.1 70B INT4
  • 刷题总结 栈和队列:单调栈