基于小参数量大语言模型（Small Language Models） ---- 在制造业落地降本增效应用：可行性研究初探

---

一、引言

随着人工智能技术的不断发展，大型语言模型（LLM）在各个领域展现出了强大的能力。然而，在实际应用中，尤其是在制造业工厂等资源有限的环境中，大型模型的高计算成本和资源消耗成为了一大挑战。小参数量模型（SLM）作为一种新兴的解决方案，通过模型压缩等技术，在保持较高性能的同时，显著降低了模型的大小和计算需求。本报告旨在探讨在制造业工厂中部署小参数量模型的可行性，特别是针对排产优化和错误根因分析等常见场景的赋能。

二、小参数量模型概述

小参数量模型是通过模型压缩技术从大型语言模型中提取知识而构建的轻量级模型。常见的模型压缩方法包括剪枝、量化、低秩分解和知识蒸馏等。这些方法能够有效减少模型的参数数量，提高模型的运行效率，使其更适合在资源受限的环境中部署。

基本技术要求

• 帮助用户创建适合单 GPU 或 TPU 主机的引人入胜的用户体验。
• 支持多语言
• 多模态能力
• 通过扩展上下文窗口处理复杂任务
• 使用函数调用创建AI驱动的工作流
• 通过量化模型实现更快的高性能

---

小参数量大语言模型在制造业场景中的适用性分析

（一