微调基本理论

微调基本理论

模型微调过程

1. 准备新知识的数据集

2. 选择预训练模型

3. 微调模型
   -更改模型结构和其他组合以及参数
   -训练模型

4. 评估模型

5. 应用模型

人工智能

人工智能（Artificial Intelligence），英文缩写为AI。是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等

机器学习概述

机器学习（Machine Learning）

1959年ARTHUR SAMUEL【机器学习先驱之一】给出的定义：

机器学习是这样的领域，它赋予计算机学习的能力，（这种学习能力）不是通过显著式编程获得的

显著式编程：人为的告诉计算机规律，从而得出结果

非显著式编程：计算机通过大量数据自己总结出规律，从而得出结果

Tom Mitshell给出的定义

一个计算机程序被称为可以学习，是指它能够针对某个任务T和某个性能指标P，从经验E中学习。这种学习的特点是，它在T上的被P所衡量的性能，会随着经验E的增加而提高

例如：

任务T=编写计算机程序识别天气【学习算法】

经验E=22年每一天的环境特征与天气结果【训练样本】

性能指标P=正确的识别出每天的天气【识别率-不同的机器学习算法会有不同】

根据经验E来提高性能指标P的过程=典型的最优化问题

数学在现代机器学习中占有重要的作用，因此本阶段需要一定的数学基础

监督学习根据数据结论存在与否的分类

1、传统的监督学习（Traditional Supervised Learning）-每个训练的数据都有对应的label

代表算法：

-支持向量机（Support Vector Machine）

-人工神经网络（Neural Networks）

-深度神经网络（Deep Neural Networks）

2、非监督学习（Unsupervised Learning）-每个训练的数据都没有对应的label

代表算法：

-聚类（Clustering）

-EM算法（Expectation - Maximization algorithm）

-主成分分析（Principle Component Analysis）

3、半监督学习（Semi-supervised Learning）-训练数据中一部分有label，另外一部分没有label

少量的标注数据以及大量未标注数据设计出更好的机器学习算法

代表算法：

-半监督支持向量机（Semi-supervised SUPPORT Support Vector Machine，简称S3VM）

所以深度学习是机器学习的一个分支领域，核心算法是神经网络

学习就是训练

基本术语

1、数据集与样本：经验数据的集合称为数据集，其中每条记录是关于一个事件或对象的描述，称为一个示例或样本

2、特征：反映事件或对象在某方面的表现或性质的事项，例如西瓜的色泽等，称为属性或特征，属性上的取值，例如青绿等称为属性值

3、样本空间与特征向量：属性张成的空间称为属性空间、样本空间或输入空间，例如把西瓜的色泽，根蒂，敲声作为三个坐标轴，则它们张成一个用于描述西瓜的三维空间。每个西瓜都可以在这个空间中找到自己的坐标位置，由于空间中的每个点对应一个坐标向量，因此我们也把一个示例称为一个特征向量

D={x1,x2,...,xm}D=\{x_1,x_2,...,x_m\}D={x1​,x2​,...,xm​} 表示包含m个样本的数据集，每个示例由d个属性描述（西瓜数据三个属性，d=3），每个样本都是一个向量，$x_i=(x_{i1},x_{i2},...,x_{id})$

4、学习或训练：从数据中学得模型的过程称为学习或训练，这个过程通过执行某个学习算法来完成

5、训练数据：训练过程中使用的数据，亦称训练集

6、训练样本：训练数据中的每个样本，亦称训练示例或训练例

7、假设与真相：学得模型对应了关于数据的某种潜在的规律，因此亦称假设；这种潜在规律自身，则称为真相或真实，学习过程就是为了找出或逼近真相，模型亦称为学习器，可看作学习算法在给定数据和参数空间上的实例化

8、标记空间：要建立预测的模型，需要获得训练样本结果信息，例如（（色泽=青绿；根蒂=蜷缩；敲声=浊响），好瓜）。这里关于示例结果的信息，例如好瓜，称为标记（label），(x_i,y_i )表示第i个样例，其中y_i∈y是示例x_i 的标记，y是所有标记的集合，亦称为标记空间或输出空间

9、分类与回归：预测的是离散值，如果成绩及格与不及格，此类学习任务称为分类任务，若预测的是连续值，例如成绩98分，60分、此类学习任务称为回归，是的，没错分类任务和回归任务只需要稍加处理就能进行相互转换

10、二分类与多分类：只涉及两个类别的任务为二分类任务，通常令y={+1,−1}或{1,0}，称其中一个类为正类，另一个类为反类，亦称负类，涉及多个类别时，则称为多分类，通常|y|>2，其中y是输出空间，即这里表示y的集合元素个数大于2，补充：回归任务y=R，R为实数集

11、泛化能力：机器学习的目标是使学得的模型能很好地适用于新样本，而不是仅仅在训练样本上工作得很好，学得模型适用于新样本的能力，称为泛化能力，具有强泛化能力的模型很好地适用于整个样本空间，所以我们希望训练集能很好的反映出样本空间的特性，否则就很难期望在训练集上学得的模型能在整个样本空间上都工作得很好，通常假设样本空间中全体样本服从一个未知分布D，我们获得的每个样本都是独立地从这个分布上采样获得的，即独立同分布，一般而言，训练样本越多，我们得到的关于D的信息越多，这样就越有可能通过学习获得具有强泛化能力的模型

我们把学习器在训练集上的误差称为“训练误差”或“经验误差“，在新样本上的误差称为“泛化误差”。显然，我们希望得到的泛化误差小的学习器

为了达到这个目的，应该从训练样本中尽可能学出适用于所有潜在样本的”普遍规律“，这样才能在遇到新样本时做出正确的判别，然而，当学习器把训练样本学的”太好“了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降，这就是过拟合现象。与过拟合相对的是欠拟合现象，这是指对训练样本的一般性质尚未学好

学习能力过于强大就容易导致过拟合，学习能力不足就容易导致欠拟合，所以我们希望学习器的泛化能力既不能太差，也不能太好，这就是我们学习的目的

欠拟合比较容易克服，例如增加训练轮数等，过拟合就比较难克服

过拟合可以增加数据量与多样性，因为过拟合的核心原因之一是训练数据不足或分布单一，导致模型学习到噪声而非真实规律，还有就是简化模型复杂度，例如减少参数数量或减少模型层数等，以及使用正则化技术，在损失函数中添加正则项，惩罚模型的复杂参数，迫使模型学习更简单的模式。

总结

机器学习算法过程

1、特征提取：通过对训练样本进行观察，以及图表等分析获得的对机器学习任务有帮助的多维度数据【主要是特征工程的任务，非机器学习主要任务，但并不说明他不重要，也就是说他对机器学习的结果影响是非常大的】

2、基于特征构建算法：针对不同的应用场景选择合适的机器学习算法或者构造出新的机器学习算法

3、模型训练：通过算法对训练数据进行学习，得到模型

4、模型评估：通过测试数据对模型进行评估，得到模型的性能，并进行模型的调优

5、模型应用：将训练好的模型应用到新的样本中，得到新的样本的结果

以上就是微调基本理论的所有内容了, 如果有哪里不懂的地方,可以把问题打在评论区, 欢迎大家在评论区交流!!!
如果我有写错的地方, 望大家指正, 也可以联系我, 让我们一起努力, 继续不断的进步.
学习是个漫长的过程, 需要我们不断的去学习并掌握消化知识点, 有不懂或概念模糊不理解的情况下,一定要赶紧的解决问题, 否则问题只会越来越多, 漏洞也就越老越大.
人生路漫漫, 白鹭常相伴!!!