自编码器Auto-encoder(李宏毅)
目录
编码器的概念:
为什么需要编码器?
编码器什么原理?
去噪自编码器:
自编码器的应用:
特征解耦
离散隐表征
编码器的概念:
重构:输入一张图片,通过编码器转化成向量,要求再通过解码器解码这个向量,要求得到的东西越接近输入越好。
编码器要做的:输入的东西是一个高维度的,转换成低纬度的向量,然后让解码器可以借助这个低维度的向量来输出这个图片的低纬度版本
为什么需要编码器?
向量维度太高了,没办法处理,需要借助编码器降维减少运算量。
编码器什么原理?
假如输入的图片是一个3×3的矩阵,但是矩阵有很多种变化,但是图片的变化是有限的,可能在图像中这个矩阵只有两种类型,那么就可以用一个2×1的就可以描述这个矩阵的变化。
去噪自编码器:
原来的高清图片在输入的时候加上了杂讯,要编码再解码之后,输出的图片要尽可能还原为高清图片。
之前学的BERT要把台*大学尽可能地还原为台湾大学,就可以看作一个de-noising auto-encoder
自编码器的应用:
特征解耦
输入图片得到向量,向量里面都存储着什么?图片的细节、纹理、大小、色泽?
输入音频得到向量,向量里面都存储着什么?音频的内容、音色?
把这些内容解耦合,输入迪丽热巴的一段话,提取迪丽热巴的音色,和我想说的内容组成一个新的向量,“让迪丽热巴替我说话”
离散隐表征
输入的这个图片有什么特征?男的女的?戴眼镜否?
用向量的一个部分预测一个特征
但是这个特征不一定要是一个属性,也可以是一段文字,做文章自动摘要器。