【大模型】 使用llama.cpp 进行模型转换和量化

目录

1 相关知识

■llama.cpp 

■GGUF 格式

■量化

2 详细步骤

克隆 llama.cpp 仓库

安装依赖

配置 CMake 构建

构建项目

验证安装

转换 safetensors 为 FP16 GGUF

量化模型 (Q4_K_M)

测试量化模型

---

---

1 相关知识

■llama.cpp 

llama.cpp是一个开源的 C/C++ 库，旨在通过最小的设置和最先进的性能，在各种硬件上实现大型语言模型（LLMÿ