当前位置: 首页 > news >正文

【大模型】 使用llama.cpp 进行模型转换和量化

目录

1 相关知识

■llama.cpp 

■GGUF 格式

■量化

2 详细步骤

克隆 llama.cpp 仓库

安装依赖

配置 CMake 构建

构建项目

验证安装

转换 safetensors 为 FP16 GGUF

量化模型 (Q4_K_M)

测试量化模型



1 相关知识

llama.cpp 

llama.cpp是一个开源的 C/C++ 库,旨在通过最小的设置和最先进的性能,在各种硬件上实现大型语言模型(LLMÿ

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.dtcms.com/a/242584.html

相关文章:

  • 魔兽世界正式服插件与宏-敏锐盗贼实用宏探索(3)-起手奥义【袭】之突如其来
  • 使用 origin -> master 强制覆盖本地 master
  • Python Day47 学习(日志Day16-17复习)
  • Win11无法安装Unity5.5.0f3怎么解决?虚拟机中如何配置?Win7怎么安装最新版VMware Tools?来这里教你完美解决!
  • 函数02 day11
  • 模型参数、模型存储精度、参数与显存
  • python46
  • Code Composer Studio快捷键
  • 101.为AI知识问答寻找朗读合适API
  • 5G+边缘计算推动下的商品详情API低延迟高效率新方案
  • 第十一章 通用定时器(上篇)
  • 工业安全零事故的智能守护者:一体化AI智能安防平台
  • DSP——时钟树讲解
  • qt3d自定义生成mesh图形
  • AISHELL-5 全球首套智能驾舱中文语音交互数据集开源
  • 看板会议如何高效进行
  • 编程的本质难点:超越技术层面的五大核心障碍-优雅草卓伊凡
  • 一个n8n构建的能和LLM对话的Agent
  • Cesium1.95中高性能加载1500个点
  • Llama 4开源项目多维分析研究
  • 深入浅出Asp.Net Core MVC应用开发系列-AspNetCore中的日志记录
  • 供应链管理-物流:自动驾驶分为几个级别/L0无自动化/L1驾驶辅助/L2部分自动化/L3有条件自动化/L4高度自动化/L5完全自动化
  • Mybatis逆向工程,动态创建实体类、条件扩展类、Mapper接口、Mapper.xml映射文件
  • XML Group端口详解
  • CANopen转Modbus TCP转换器助生产线智能化升级
  • Numpy7——数学2(矩阵基础,线性方程基础)
  • 图注意力卷积神经网络GAT在无线通信网络拓扑推理中的应用
  • 龙蜥开发者说:我的龙蜥开源之旅 | 第 32 期
  • 【在线五子棋对战】四、MySQL API 使用
  • 代码训练LeetCode(27)接雨水