macos电脑本地搭建mistral-7b大模型出现4-bit量化和缓存不足问题的记录
问题背景
本人想再本地笔记本电脑上搭建一个mistral-7b的大模型，在搭建的过程中，出现了4-bit量化模式无法处理的问题，以及电脑内存/显存不足的问题，导致无法搭建
电脑硬件信息
名称：2019 Mac book pro
内存：32G
硬盘：512G
无独立显卡
大模型信息
名称：mistralai/Mixtral-8x7B-Instruct-v0.1
下载地址：https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1
文件个数：36
文件总大小:177G
模型特点：开源 ｜ 免费
错误信息
4-bit量化错误
启用4-bit量化模式时，需要安装最新的bitsandbytes模块，当前（2025.06.18）该模块最新的版本是0.46，但是由于苹果电脑芯片的原因，pytorch并未出macos版本的，故适配于macos版本的当前只停留在了0.42版本，无法升级。可以参考这篇文章。故无法搭建
电脑内存/显存不足错误
这个问题就是电脑硬件的问题了，内存或者是显存不足，导致无法分配空间
解决方式
1、别搭建了，早点洗洗睡
2、选择云服务器，但是成本可能就高了
3、自己拥有一个性能比较强悍的笔记本 or 台式机 or 服务器。
备注：有钱人选择，你值得拥有