如火如荼的deepseek,AI初试探!
一、随写
第一次不打草稿,碎屑~
过年的时候DeepSeek临空出世,互联网热了。开始我基本没啥关注,想着先是渡过一波“吹牛逼”和“东西混战”的娱乐期。等着有空学习...
然后就是然后...
新学期被迫上了数据结构的课程,需要备课学习,开会,期间听了一场“ali的部署营销会”,随性想着自己也在alinyun上搭建一个试试,无奈没有student的身份了,没办法申请免费的token,而且需要自己去买gpu服务器的,想想,穷了...
一天在学习数据结构的时候,想着如何分析某个算法的时空复杂度时,想想自己的破电脑(2018年的台式机)自己搭个简单的ai模型来寻求答案。于是就开干了。
先贴来实践,后续再补充玩AI,需要了解理解哪些理论的东西,也方便后续真有写论文之类的东西把。
二、本篇AI初试探的逻辑
1、先贴下实践结果;
2、再总结下自己玩这个心得收获;
3、最后简述下自己本地部署小规模训练模型的步骤。
三、本地部署的环境和实践截图
1、本地环境
物理机,快10年了,当年的网吧机器弄来的(cpu:e3 + mem:24g + gpu:3g);
操作系统:win10;
gpu:amd radeon R9 200series
如下三个图:
2、安装LM Studio-0.3.11
LM studio这是啥??
LM Studio是一个用于本地运行大型语言模型(LLMs)的软件,提供了多项核心功能和主要特性。主要包括以下内容:
核心功能
-
模型运行:允许用户在自己的计算机上本地运行大型语言模型,无需依赖云端或外部API服务。
-
模型训练:提供了丰富的训练数据和算法库,支持用户根据实际需求选择合适的数据集和算法进行模型训练。同时,还提供了可视化的训练监控界面,让用户能够实时了解模型的训练状态和性能。
-
模型部署:训练好的模型可以通过LM Studio轻松部署到各种应用场景中,如智能客服、自然语言处理等。
-
模型调试:在模型运行过程中,LM Studio提供了强大的调试工具,帮助用户快速定位问题并进行优化。
主要特性
-
接口兼容:LM Studio提供了与OpenAI类似的服务接口,这使得开发者能够轻松迁移或开发应用程序。
-
文本嵌入:支持生成文本嵌入,这对于基于检索的生成应用(RAG)特别有用。
-
多平台支持:LM Studio支持多个操作系统,包括Windows、macOS(适用于M1/M2/M3芯片)和Linux(Ubuntu 22.04)。
-
编程支持:允许通过编程方式在JavaScript/TypeScript/Node环境中使用LLMs,增加了应用程序的灵活性和集成能力。
-
命令行工具:提供了一个命令行工具lms,方便开发者和终端用户通过命令行进行操作。
应用场景
-
智能客服:通过部署LLM模型,企业可以实现智能客服系统的自动化回答和智能推荐,提高客户满意度和服务效率。
-
自然语言处理:LLM模型在自然语言处理领域具有广泛应用,如文本分类、情感分析、机器翻译等。LM Studio为这些应用提供了强大的支持。
-
学术研究:对于自然语言处理领域的学者和研究人员来说,LM Studio提供了一个强大的研究工具,帮助他们更好地理解和应用大型语言模型。
其他特性
-
离线运行:所有数据和计算都在本地进行,无需互联网连接,确保数据隐私和安全性。
-
模型兼容性:支持Hugging Face上的多种流行模型,如Llama、MPT和StarCoder等。
-
易于使用的界面:通过直观的聊天界面或OpenAI兼容的本地服务器,用户可以轻松地与模型交互。
-
模型下载与管理:用户可以直接从Hugging Face下载所需的模型文件,并在LM Studio中进行管理。
-
新模型发现:应用程序的首页展示了最新和最有趣的LLMs,方便用户探索和尝试。
综上所述,LM Studio是一个功能强大且灵活的本地大型语言模型工作站,适用于多种应用场景和需求。
所以我就用了这个,结合我的AMD gpu跑deepseek的训练模型。^V^....
贴个官网最有价值:LM Studio - Discover, download, and run local LLMs
官网如下图:
3、我的实验结果
1)、下载几种训练模型,如下图。试用了几次,主要以Qwen-1.5B为主。
2)、问了一个数学证明的方法问题。首次解答用了8分钟多。
3)、提问了一个算法的一个题(备课难题,^~^),也请各位童鞋帮忙分析下真的答案,毕竟我也用了千问、SCnet超算,KIMI,得出的结论都不一样。
想想... 还在训练ing
四、一些心得
1、常用的AI工具有哪些? | 阿里通义千问: 头条豆包: Kimi: DeepSeek: 腾讯元宝 | 各自使用场景? |
2、AI训练模型是什么?DeepSeek开源的模型有哪些可以自己玩的? | 推理模型vs通用模型; 基于概率,基于逻辑推理? | 原来不仅只有这些,google,openai,国内的BAT都有可以开源,玩的 |
3、了解训练模型的一些关键术语? ... | context; Llama,Qwen系列; (1.5b,7b,14b,32b) | 具体解释? |
总结两个字:要学习、要持续学习。
ps、有后续
五、部署的步骤
主要思路就动手查资料,然后选一个doityourself。
AMD R9 200显卡太老了,只有3g的内存,还在是AMD的,官方有支持说明,这样是选择LM studio的原因。小伙伴要也是AMD的显卡,看看官网支持:
再去lmstudio.ai官网下载该平台。
然后进入studio配置,查找框中输入deepseek,如下:
接着下载选中的模型即可。
下载完成,后面的就简单了,载入模型,自动配置,提问就可以了,也可以手动配置参数