网站基本参数设置模块建设银行郑州中心支行网站

梯度下降法就是在更新weight的时候，向函数值下降的最快方向进行更新，具体的原理我就不再写了，就是一个求偏导的过程，有高数基础的都能够很快的理解过程。我在我的github里面会一直更新自己学习pytorch的过程，地址为： https://github.com/00paning/Pytorch_Learning

这里我直接展示一个简易实现的python代码，我们还是先看一下运行的效果图：

相关python代码如下：

import numpy as np
import matplotlib.pyplot as pltx_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]w = 1.0epoch_list = []
cost_list = []
def forward(x):return x*wdef cost(xs,ys):cost = 0for x,y in zip(xs,ys):y_pred = forward(x)cost += (y_pred - y)**2return cost/len(xs)def gradient(xs,ys):grad = 0for x,y in zip(xs,ys):grad += 2 * (x * w - y)return grad/len(xs)print('Predict(before training)',4,forward(4))for epoch in range(100):cost_val = cost(x_data,y_data)grad_val = gradient(x_data,y_data)w -= 0.01 *grad_valepoch_list.append(epoch)cost_list.append(cost_val)print('Epoch:',epoch,'w=',w,'loss=',cost_val)
print('Predict(after training)',4,forward(4))plt.plot(epoch_list,cost_list)
plt.ylabel('Loss')
plt.xlabel('w')
plt.show()

下面是随机梯度下降法，由于鞍点的存在（就是导数为0的点），当训练遇到鞍点的时候，根据weight更新的公式来看，就会一直陷在鞍点里面，这时候，可以使用随机梯度下降法。它相比与梯度下降法的改变就是在计算loss的时候，本方法每次计算loss只选取一个点计算loss。相比与梯度下降法，这个方法的运行效率是很低的，因为它不能并行计算每个x的值，但是准确性得到了提升。下面还是先看一下效果图：

相关的python代码如下：

import numpy as np
import matplotlib.pyplot as pltx_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]w = 1.0epoch_list = []
cost_list = []
def forward(x):return x*wdef loss(x,y):y_pred = forward(x)return (y_pred - y)**2def gradient(x,y):return 2 * (x * w - y)print('Predict(before training)',4,forward(4))for epoch in range(100):for x,y in zip(x_data,y_data):grad = gradient(x,y)w = w - 0.01 *gradl = loss(x,y)cost_list.append(l)epoch_list.append(epoch)print('Epoch:',epoch,'w=',w,'loss=',l)
print('Predict(after training)',4,forward(4))plt.plot(epoch_list,cost_list)
plt.ylabel('Loss')
plt.xlabel('w')
plt.show()