当前位置: 首页 > news >正文

本地部署量化满血版本deepseek的Ktransformer清华方案的硬件配置

标题

  • 本地部署量化满血版本deepseek的Ktransformer清华方案的硬件配置
  • 太TM贵了,有没有一半价格的配置

本地部署量化满血版本deepseek的Ktransformer清华方案的硬件配置

在这里插入图片描述
上图来自Ktransformers安装指导手册
以下是我在京东找到的对应的配置

  • 双通道服务器主板:华硕, Z13PE-D16 x 1--------------------------7,099 RMB
  • Cpu:intel,金牌6454S/32核64线程 x 2 -----------31500 x 2 = 63,000 RMB
  • GPU:nvidia,4090D 24GB显存 x 1 --------------------------------17,589 RMB
  • 固态硬盘:WD,SSD 2TB -------------------------------------------------849 RMB
  • 内存:SK HYNIX,DDR5 5600 64G x 16 --------2186 x 16 = 34,976 RMB
  • 机箱:爱国者 YOGO Z1 x 1 ---------------------------------------------1,359 RMB
  • Cpu风扇:金钱豹,LGA46 -------------------------------------------------320 RMB
  • 机箱风扇:追风者,T30 120/工业级/三联包----------------------------469 RMB
  • 电源:振华,LEADEX P2000W-----------------------------------------3,599 RMB
  • 总价--------------------------------------------------------------------------129,260 RMB

太TM贵了,有没有一半价格的配置

太Tm贵了,所以我就继续看手册,看是否有低配版,我高低得尝尝本地部署deepseek咸淡。
然后,我发现单通道cpu版本,输出token的速度只是降低了23%,每秒可以输出10个汉字(假设一个token可以简单对应一个汉字)
在这里插入图片描述
我就放弃了双通道。
由于清华团队用的cpu卡太贵了,我也做了更换。
此外,我还在Ktransformers安装指导手册中找到了内存最低配置清单。
在这里插入图片描述
为了让价格砍一半。我找了一份新的购物列表,如图所示:

  • 双通道服务器主板:技嘉, MS73 –HB1 双千兆网口 x 1---------6,920 RMB
  • Cpu:intel,Xeon 6430 x1 ---------------------------------------------13,199 RMB
  • GPU:nvidia,4090D 48GB显存 x 1 --------------------------------20,589 RMB
  • 固态硬盘:WD,SSD 2TB -------------------------------------------------849 RMB
  • 内存:SK HYNIX,DDR5 5600 64G x 6 -------------2186 x 6 = 13,116 RMB
  • 机箱:爱国者 YOGO Z1 x 1 ---------------------------------------------1,359 RMB
  • Cpu风扇:金钱豹,LGA46 -------------------------------------------------320 RMB
  • 机箱风扇:追风者,T30 120/工业级/三联包----------------------------469 RMB
  • 电源:振华,LEADEX P2000W-----------------------------------------3,599 RMB
  • 总价---------------------------------------------------------------------------60,438 RMB

这份清单中,我将4090D 24GB显卡更换成了4090D 48GB显卡,是期望用多一点的显存,去弥补cpu性能低的缺憾。依旧保留双通道主板,是为了后续添加cpu、显卡做考虑。

我已经把价格砍了一半,不知道大家有没有更低的版本。

相关文章:

  • 【linux驱动开发】创建proc文件系统中的目录和文件实现
  • win10 win+shift+s 无法立即连续截图 第二次截图需要等很久
  • [RA-L 2023] Coco-LIC:基于非均匀 B 样条的连续时间紧密耦合 LiDAR-惯性-相机里程计
  • API自动化测试实战:Postman + Newman/Pytest的深度解析
  • 深度学习中学习率调整策略
  • java实现智能家居控制系统——入门版
  • vue3怎么和大模型交互?
  • spring security学习入门指引
  • Spring框架详解(IOC容器-上)
  • 【PyTorch教学】pytorch 基本语法
  • WebForms HTML:深入理解与高效运用
  • 并发编程面试题一
  • 《深入剖析:鸿蒙开发工具模拟器在人工智能应用模拟测试中的特性与局限》
  • 【CXX】6.8 Vec<T> — rust::Vec<T>
  • 房屋交易平台设计与实现(代码+数据库+LW)
  • ECA注意力机制改进思路
  • 第三章-PHP流程控制语句
  • Linux 运行级别
  • 带宽管理配置实验
  • 【Azure 架构师学习笔记】- Azure Databricks (21) --费用相关
  • 内蒙古赤峰市城建集团董事长孙广通拟任旗县区党委书记
  • 北方首场高温将进入鼎盛阶段,江南华南多地需警惕降雨叠加致灾
  • 美国贸易政策|特朗普模式:你想做交易吗?
  • 朱雀二号改进型遥二运载火箭发射成功
  • 美国将与阿联酋合作建立海外最大的人工智能数据中心
  • 警方通报男子广州南站持刀伤人:造成1人受伤,嫌疑人被控制