当前位置: 首页 > news >正文

mac本地部署Qwq-32b记录

导语

昨天看到阿里开源了Qwq-32b,号称性能可以媲美Deepseek-R1。今天晚上有空就在Mac上折腾了一下,使用ollma进行了部署,效果感觉还不错,特此记录。

环境

硬件

  • 型号:Macbook M1 Pro 14寸
  • 内存:512G

环境配置

首先需要安装ollama,直接前往Ollama官网下载对应系统版本安装包并进行安装即可。

之后,打开命令行(mac是zsh),输入

jiexing@MacBook-M1-Pro ~ % ollama run qwq
pulling manifest 
pulling c62ccde5630c... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏  19 GB                         
pulling 41190096a061... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.2 KB                         
pulling d18a5cc71b84... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏  11 KB                         
pulling 4afe5edfdb51... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏   77 B                         
pulling 6a8faa2fb8b0... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏  488 B                         
verifying sha256 digest 
writing manifest 
success 
>>> 请介绍一下你自己
<think>

</think>

你好!我是通义千问,阿里巴巴集团旗下的超大规模语言模型。我可以帮助你回答问题、创作文字,比如写故事、写公文、写邮件、写剧本,进行逻辑推理、编程等。我熟练掌握多种语言,包括但不限于中文、英文、德语、法语、西班牙语等。

如果你有任何问题或需要帮助,欢迎随时告诉我!

WebUI搭建

完成部署后,看着简陋的命令行背景,感觉还是不如chatgpt、Deepseek那些网页版体验好,于是找了一下如何部署一个Web UI。主要参考ollama-webui-lite项目,尝试如下:

首先需要clone项目:

git clone https://github.com/ollama-webui/ollama-webui-lite.git
cd ollama-webui-lite

然后运行

yarn

结果我这里报错

zsh command not found yarn

于是我使用brew来安装yarn,直接brew install yarn是无法成功的,经过搜索发现需要更新brew update,然后顺利安装yarn。

在运行之前,还需要确保本机的node>=16,可以直接使用
brew install node来安装。

启动界面

在项目目录下,运行yarn dev,即可成功设置WebUI,点击 http://localhost:3000/ 即可打开本地的WebUI。

jiexing@MacBook-M1-Pro ollama-webui-lite % yarn dev
yarn run v1.22.22
$ vite dev --host --port 3000

Forced re-optimization of dependencies

  VITE v4.5.9  ready in 499 ms

  ➜  Local:   http://localhost:3000/
  ➜  Network: http://192.168.71.174:3000/
  ➜  Network: http://10.50.50.18:3000/
  ➜  press h to show help

在这里插入图片描述

相关文章:

  • 供应链工作效率如何提升
  • Java常见面试技术点整理讲解——后端框架(整理中,未完成)
  • 什么是一致性模型,在实践中如何选择?
  • 程序化广告行业(3/89):深度剖析行业知识与数据处理实践
  • MOM成功实施分享(七)电力电容制造MOM工艺分析与解决方案(第二部分)
  • 菜鸟打印机组件安装后重启显示“Windows 找不到文件‘CNPrintClient,exe‘。请确定文件名是否正确后,再试一次。”的正确解决方案
  • JavaScript性能优化:DOM操作优化实战
  • 2025-03-10 吴恩达机器学习1——机器学习概述
  • Python的函数
  • OpenPLC WebSever启动
  • kali linux 漏洞扫描
  • 关于原码、反码、补码、移码
  • 【亲测可行】rk3588交叉编译opencv-4.5.1,ffmpeg-4.2.9,x264
  • Hugging Face的Transformers核心模块:Pipelines(参数说明,各种模型类型调用案例)
  • TypeScript基础类型详解:与JavaScript的对比与核心价值
  • 【Android】03-Android 开发机器配置要求
  • 【day12】进程切换与调度:linux系统的幕后操控术
  • 项目实操分享:一个基于 Flask 的音乐生成系统,能够根据用户指定的参数自动生成 MIDI 音乐并转换为音频文件
  • 可视化绘图技巧100篇进阶篇(十八)-鸡冠花图
  • 18 HarmonyOS NEXT UVList组件开发指南(五)
  • 钟睒睒:不反对代工,但农夫山泉目前所有产品是无法代工的
  • 广东高州发生山体滑坡,造成2人遇难4人送医救治1人失联
  • 蒲慕明院士:好的科普应以“质疑、讨论公众关切的科学问题”为切入点
  • 首次带人形机器人走科技节红毯,傅利叶顾捷:没太多包袱,很多事都能从零开始
  • 篮球培训机构东方启明星被指停摆,家长称已登记未退费用超百万
  • “GoFun出行”订单时隔7年扣费后续:平台将退费,双方已和解