参数规模代表什么？为什么会影响模型性能和推理速度？
参考视频：面试必刷：参数规模到底意味着什么？它为什么会影响模型性能和推理速度？_哔哩哔哩_bilibili
回答思路：
1. 参数规模的解释
2. 参数规模与性能的关系？好处（性能提升）和坏处（过拟合、收益递减、计算资源和显存）
参数规模指的是模型中所有可训练参数的总数量，也就是模型所有权重和偏置的数量总和。对于大模型，参数规模往往达到数十亿甚至上百亿。
它体现了模型的复杂度，也就是表达能力。
参数越多，模型能够表达和拟合更复杂的数据分布，学习更多特征和关系，从而提升表达能力和准确率；
但是参数过多，如果训练样本不足，可能会导致过拟合，影响泛化能力；
并且，随着参数量的增加，到千亿级别，性能提升有收益递减的趋势，这时候，数据质量、训练策略、架构设计比单纯的参数增加更加重要；
同时，大规模参数意味着前向推理计算量大幅增加，导致推理延迟变长，同时对计算资源和显存提出极高的要求。因此在实际工程中，限制了大模型的实时应用和部署，这也推动了模型压缩、剪枝、量化、知识蒸馏等技术的发展，以平衡性能和推理效率。