VAE,以及概率分布的各种知识点
最近看到好几篇论文,都是从概率里随机采样,没看懂 ,原理都是从VAE来的,所以先从VAE里下手理解
变分自编码器 VAE 超详解,从简单公式推导到模型结构到模型理解
重参数化的技巧:任意的高斯分布可以写成均值加上标准差乘以一个标准高斯分布随机变量的一个形式。也就是任意高斯分布是一个标准高斯分布的一个函数
左侧反向传播到红色部分会链路断掉
而右侧整条链路里边就没有任何随机的部分,反向传播就可以顺利传回
第一种方式当中,z不能被均值方差表示,因此求偏导反向传播时会断
第二种方式中,z被表示成均值方差的线性表示,求偏导是可以求的
重建相似度的损失,和隐变量先验相似度的损失