大模型理论概述

大模型是什么

大模型就是指参数规模庞大、网络结构复杂的深度神经网络模型，是通过大量数据训练，得到数据的抽象规律，加以总结归纳，能够实现翻译、推理、创作等多种跨领域复杂任务。

大模型是怎么构建的

架构基础

大模型主要有三种架构基础：卷积神经网络（CNNs）,循环神经网络（RNNs）,transformer网络

卷积神经网络（CNNs）

卷积神经网络（Convolutional Neural Networks，CNNs）用于处理具有网格结构数据（如图像、音频、视频等）

CNN通过局部感受野、权重共享和空间下采样等机制，自动提取输入数据的层次化特征（从边缘、纹理到物体部件、整体）。与传统全连接神经网络相比，CNN显著减少了参数量和计算量，同时保留了数据的空间结构信息。

循环神经网络（RNNs）

循环神经网络（Recurrent Neural Networks, RNNs）用于处理序列数据（如时间序列、自然语言、语音等）

传统前馈神经网络（如CNN）的输入和输出是独立同分布的，无法直接处理序列数据（如句子、时间序列）。RNN通过引入循环连接，使网络能够记住之前时间步的信息，从而对序列进行动态建模

transformer网络

基于自注意力机制（Self-Attention）的深度学习架构，完全摒弃传统的循环结构（如RNN）和卷积结构（如CNN），转而依赖自注意力机制来捕捉输入序列中不同位置之间的依赖关系。这种设计使得模型能够：

1. 并行计算：所有位置的计算可同时进行，大幅提升训练效率。
2. 长距离依赖建模：直接捕捉序列中任意两个位置的关系，不受距离限制。
3. 动态权重分配：根据输入内容自适应调整注意力权重。

大模型训练过程

预训练

将数据进行清洗，将文本拆分为词语，去除标点符号，核心是数据准备与训练。训练目标是通过自监督任务让模型学习语言规律，例如预测下一个词、补全句子等

SFT监督预调

收集与目标任务相关的特定数据，并对这些数据进行标注

RLHF基于人类反馈的强化规模学习

建立在强化学习的基础之上，强化学习是一种让智能体通过与环境互动来学习最佳行为的方法。智能体采取行动以实现特定目标，并根据行动接受奖励或惩罚形式的反馈，从而学会做出决策的最佳策略。