神经网络与Transformer详解
1. 一个模型的典型场景
对用户咨询的法律问题做自动归类:
婚姻纠纷、劳动纠纷、合同纠纷、债权债务、房产纠纷、交通事故、医疗纠纷、版权纠纷
2. 模型就是一个数学公式
我们一般将这样的问题描述为:给定一组输入数据,经过一系列数学公式计算后,输出n个概率,分别代表该用户对话属于某分类的概率
举个非常简单的例子:
3. 万金油公式 - 神经网络
确定数学公式的过程
1、公式:y = ax + b
2、参数:a = 50, b = -100
真实场景的任务,人类搞不定
神经网络的公式结构
MNIST(Mixed National Institute of Standards and Technology database)
包含了70,000张手写数字的图像,其中60,000张用于训练,10,000张用于测试,每张图像的内容只包含一个手写数字,从0到9的其中一个数字。
任务:给定一张28x28像素的灰度图像,经过一系列数学公式计算后,输出10个概率,分别代表该图像中的内容是0-9某个数字的概率
划重点:
- 这种在输入向量x和输出向量y之间,增加了一层z向量, 并且用上述格式的计算公式去计算z向量和y向量中的每一个数值的结构, 就叫做神经网络。