当前位置: 首页 > news >正文

SL1680 SoC本地运行DeepSeek R1 1.5B大模型

SL1680 SoC本地运行DeepSeek R1 1.5B大模型

自DeepSeek大模型发布以来,深蕾半导体SoC团队针对在端侧运行DeepSeek大模型不断进行研究,探索将DeepSeek大模型与SoC系列产品相结合的模式。目前已经实现利用深蕾半导体的ASTRA SL1680 SoC本地运行DeepSeek R1 Distill Qwen2.5 1.5B大模型。

SL1680大模型视频效果

DeepSeek R1 Distill Qwen2.5 1.5B是DeepSeek R1发布中最小的模型 - 它可以在ASTRA SL1680上舒适地运行。

一、SL1680本地运行Deepseek-R1-1.5B大模型展示

SL1680本地运行Deepseek-R1-1.5B大模型视频效果

执行过程

要在ASTRA开发板上运行Qwen,我们将使用llama-cpp-python包,它为Georgi Gerganov的llamacpp提供了便捷的Python绑定。

除了在SL1680本地运行Deepseek-R1-1.5B大模型,还实现了运行Llama 3.2 1B大模型。

运行环境   

系统:Linux(yocto) 

硬件:SL1680 RDK开发板


 

产品化路径

对于SL1680产品如何与大模型结合的问题,建议采用端侧大模型与云端大模型相结合的工程化方式处理,本地能处理的用户任务使用端侧大模型快速解决和输出,而较复杂的逻辑以及联网功能则通过请求云端大模型API的方式实现。

如视频所展示的,将Deepseek-R1-1.5B大模型部署到SoC本地,能够实现知识问答、FuntionCall等AI能力。通过将云端的大模型与端侧的语音识别、机器视觉功能、端侧小参数大模型相结合,从而让AI赋能我们的产品,提升产品的智能化程度。

二、本地小参数大模型与端云大模型结合的应用场景

1,多媒体终端:本地小参数大模型可在端侧如智能大屏,快速处理一些常见的简单任务,如语音助手对常见指令的快速响应、文本的简单摘要生成、数据加工整理、设备操控、产品说明、产品售后问题自助解决等。当遇到复杂任务,如深度文本分析、多模态内容生成时,可将任务发送到云侧大模型进行处理,利用云侧大模型强大的计算能力和丰富的知识储备来完成。

2,智能办公设备(MINI PC):本地小参数大模型可以实时处理用户的语音交互、文字输入信息处理、智能控制等任务,作为用户AI助手。而对于一些复杂的逻辑理解、内容生成设计和决策任务等,则借助云侧大模型的强大算力和更全面的数据分析能力来完成。

3,零售电商:在商品展示平台的搜索推荐场景中,本地小参数大模型可以根据用户在本地设备上的浏览历史、购买行为、环境感知等数据,快速生成初步的推荐结果。当用户有更复杂的搜索需求,如对比不同商品的详细参数、询问商品的使用场景等问题时,云侧大模型可以利用其庞大的商品知识库和强大的语言理解能力,给出更准确、详细的回答和推荐。

三、ASTRA SL1680 SoC介绍 

ASTRA SL1680是一款专为智能应用设计的高性能系统级芯片(SoC),它拥有

1,4*Cortex A73 CPU处理器:

Cortex A73是ARM公司设计的一款高性能CPU核心,适用于需要高性能计算的应用场景,能够提供强大的处理能力和多任务处理能力,为Deepseek-R1-1.5B大模型的运行提供坚实保障。


2,高达7.9 Top NPU算力:

NPU(Neural Processing Unit,神经网络处理单元)是专门用于加速神经网络计算的硬件单元。7.9 Top的算力使SL1680在神经网络计算方面有着极高的性能,为端云结合的应用模式创造了有利条件。


3,64-bit高速内存:

64位内存架构支持更大的内存寻址空间,使得SL1680能够同时处理更多的数据和运行更复杂的应用程序。高速内存则保证了数据访问的迅速性,提升了整体性能。

相关文章:

  • vue将“00:00:09“的时间转换为秒,将时分秒hh:mm:ss的格式转换为秒,
  • 搭建 vue 项目环境详细步骤
  • qt+mingw64+cmake+libqrencode项目编译和搭建成功记录
  • Jsp技术入门指南【四】详细讲解jsp与Servlet的对比和Jsp生命周期和工作原理
  • VBA技术资料MF293:不打开工作簿获取值
  • 【运维学习】lvs + keepalived + 主从dns 项目搭建
  • 运筹学之指派问题(原始匈牙利算法以及KM算法)
  • 深度学习 从入门到精通 day_02
  • Google Test 与 Google Mock:C++ 测试与模拟的完美结合
  • 于 Jupyter 天地,借 NumPy 之手编织数据锦缎
  • 管家婆财贸ERP BB106.采购开票选单批量过滤
  • Linux之 grep、find、ls、wc 命令
  • [数据结构]哈希表
  • 3DMAX粒子流样条线生成器PFSpliner使用方法详解
  • 【AI News | 20250417】每日AI进展
  • 金蝶云星空API接口调试postman
  • Mybtis和Mybatis-Plus区别
  • 4月17日星期四今日早报简报微语报早读
  • 高效检测书签网址,告别无效链接烦恼
  • 新一代电子海图S-100标准
  • 五一假期首日,多地党政主官暗访督查节日安全和值班值守工作
  • 长三角议事厅| AI作曲时代:长三角如何奏响数字音乐乐章
  • 马克思主义理论研究教学名师系列访谈|杜玉华:马克思主义是“认识世界”和“改变世界”的思维工具
  • 澎湃回声丨23岁小伙“被精神病”8年续:今日将被移出“重精”管理系统
  • 浙商银行一季度净赚超59亿微增0.61%,非息净收入降逾22%
  • 解放日报:上海深化改革开放,系统集成创新局