当前位置: 首页 > wzjs >正文

建一个类似亨物说网站建设费用网络营销推广主要做什么

建一个类似亨物说网站建设费用,网络营销推广主要做什么,长沙市委宣传部,有道云笔记 wordpress12.权重衰退(与课程对应) 目录 一、权重衰退 1、使用均方范数作为硬性限制 2、使用均方范数作为柔性限制(通常这么做) 3、演示对最优解的影响 4、参数更新法则 5、总结 二、代码实现从零实现 三、代码实现简介实现 一、权重…

12.权重衰退(与课程对应)


目录

一、权重衰退

1、使用均方范数作为硬性限制

2、使用均方范数作为柔性限制(通常这么做)

3、演示对最优解的影响

4、参数更新法则

5、总结

二、代码实现+从零实现

三、代码实现+简介实现


一、权重衰退

1、使用均方范数作为硬性限制

        (1)通过限制参数值的选择范围来控制模型容量

                        min L(w, b) subject to ||w||^{2}\leqslant \theta

                通常不限制便宜b(限不限制都差不多)

                小的\theta意味着更强的正则项

2、使用均方范数作为柔性限制(通常这么做)

        (1)对每个\theta,都可以找到\lambda使得之前的目标函数等价于下面

                        min L(w, b) + \frac{\lambda }{2} ||w||^{2}

                可以通过拉格朗日乘子来证明

        (2)超参数\lambda控制了正则项的重要程度

                \lambda=0:无作用

                \lambda \rightarrow \inftyw^{*}\rightarrow 0

3、演示对最优解的影响

4、参数更新法则

(1)计算梯度

        \frac{\partial }{\partial w}(L(w, b)) + \frac{\lambda }{2}||w||^{2})=\frac{\partial L(w, b) }{\partial w} + \lambda w

(2)时间t更新参数

        w_{t+1}=(1-\eta \lambda )w_{t} - \eta \frac{\partial L(w_{t}, b_{t}) }{\partial w_{t}}

        通常\eta \lambda < 1,在深度学习中通常叫做权重衰退

5、总结

(1)权重衰退通过L2正则项使得模型参数不会过大,从而控制模型复杂度

(2)正则项权重是控制模型复杂度的超参数

二、代码实现+从零实现

1、生成数据集:训练集越小,越容易过拟合;特征维度200

n_train, n_test, num_inputs, batch_size = 20, 100, 200, 5
true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05
train_data = d2l.synthetic_data(true_w, true_b, n_train)
train_iter = d2l.load_array(train_data, batch_size)
test_data = d2l.synthetic_data(true_w, true_b, n_test)
test_iter = d2l.load_array(test_data, batch_size, is_train=False)

2、初始化模型参数

def init_params():w = torch.normal(0, 1, size=(num_inputs, 1), requires_grad=True)b = torch.zeros(1, requires_grad=True)return [w, b]

 3、定义L2范数惩罚

def l2_penalty(w):return torch.sum(w.pow(2)) / 2

 4、定义训练代码实现

def train(lambd):w, b = init_params()  # 初始化权重net, loss = lambda X: d2l.linreg(X, w, b), d2l.squared_loss  # 模型,损失num_epochs, lr = 100, 0.003animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',xlim=[5, num_epochs], legend=['train', 'test'])  # 绘制for epoch in range(num_epochs):for X, y in train_iter:l = loss(net(X), y) + lambd * l2_penalty(w)l.sum().backward()d2l.sgd([w, b], lr, batch_size)if (epoch + 1) % 5 == 0:animator.add(epoch + 1, (d2l.evaluate_loss(net, train_iter, loss),d2l.evaluate_loss(net, test_iter, loss)))print('w的L2范数是:', torch.norm(w).item())

 5、忽略正则化直接训练

train(lambd=0)
d2l.plt.show()

6、使用权重衰减

train(lambd=3)
d2l.plt.show()

7、完整代码 

import torch
from torch import nn
from d2l import torch as d2l# 权重衰退:从零实现
# 1、生成数据集:训练集越小,越容易过拟合;特征维度200
n_train, n_test, num_inputs, batch_size = 20, 100, 200, 5
true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05
train_data = d2l.synthetic_data(true_w, true_b, n_train)
train_iter = d2l.load_array(train_data, batch_size)
test_data = d2l.synthetic_data(true_w, true_b, n_test)
test_iter = d2l.load_array(test_data, batch_size, is_train=False)# 2、初始化模型参数
def init_params():w = torch.normal(0, 1, size=(num_inputs, 1), requires_grad=True)b = torch.zeros(1, requires_grad=True)return [w, b]# 3、定义L2范数惩罚
def l2_penalty(w):return torch.sum(w.pow(2)) / 2# 4、定义训练代码实现
def train(lambd):w, b = init_params()  # 初始化权重net, loss = lambda X: d2l.linreg(X, w, b), d2l.squared_loss  # 模型,损失num_epochs, lr = 100, 0.003animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',xlim=[5, num_epochs], legend=['train', 'test'])  # 绘制for epoch in range(num_epochs):for X, y in train_iter:l = loss(net(X), y) + lambd * l2_penalty(w)l.sum().backward()d2l.sgd([w, b], lr, batch_size)if (epoch + 1) % 5 == 0:animator.add(epoch + 1, (d2l.evaluate_loss(net, train_iter, loss),d2l.evaluate_loss(net, test_iter, loss)))print('w的L2范数是:', torch.norm(w).item())# 忽略正则化直接训练
train(lambd=0)
d2l.plt.show()# 使用权重衰减
train(lambd=3)
d2l.plt.show()

三、代码实现+简介实现

1、生成数据集:训练集越小,越容易过拟合;特征维度200

n_train, n_test, num_inputs, batch_size = 20, 100, 200, 5
true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05
train_data = d2l.synthetic_data(true_w, true_b, n_train)
train_iter = d2l.load_array(train_data, batch_size)
test_data = d2l.synthetic_data(true_w, true_b, n_test)
test_iter = d2l.load_array(test_data, batch_size, is_train=False)

2、权重衰退+简洁实现

def train_concise(wd):net = nn.Sequential(nn.Linear(num_inputs, 1))for param in net.parameters():param.data.normal_()loss = nn.MSELoss(reduction='none')num_epochs, lr = 100, 0.003# 偏置参数没有衰减trainer = torch.optim.SGD([{"params":net[0].weight, 'weight_decay': wd},{"params":net[0].bias}], lr=lr)animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',xlim=[5, num_epochs], legend=['train', 'test'])for epoch in range(num_epochs):for X, y in train_iter:trainer.zero_grad()l = loss(net(X), y)l.mean().backward()trainer.step()if (epoch + 1) % 5 == 0:animator.add(epoch + 1,(d2l.evaluate_loss(net, train_iter, loss),d2l.evaluate_loss(net, test_iter, loss)))print('w的L2范数:', net[0].weight.norm().item())

 3、忽略正则化直接训练

train_concise(0)
d2l.plt.show()

 4、使用权重衰减

train_concise(3)
d2l.plt.show()

5、完整代码 

import torch
from matplotlib.pyplot import xlabel
from torch import nn
from d2l import torch as d2l# 生成数据集:训练集越小,越容易过拟合;特征维度200
n_train, n_test, num_inputs, batch_size = 20, 100, 200, 5
true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05
train_data = d2l.synthetic_data(true_w, true_b, n_train)
train_iter = d2l.load_array(train_data, batch_size)
test_data = d2l.synthetic_data(true_w, true_b, n_test)
test_iter = d2l.load_array(test_data, batch_size, is_train=False)# 权重衰退+简洁实现
def train_concise(wd):net = nn.Sequential(nn.Linear(num_inputs, 1))for param in net.parameters():param.data.normal_()loss = nn.MSELoss(reduction='none')num_epochs, lr = 100, 0.003# 偏置参数没有衰减trainer = torch.optim.SGD([{"params":net[0].weight, 'weight_decay': wd},{"params":net[0].bias}], lr=lr)animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',xlim=[5, num_epochs], legend=['train', 'test'])for epoch in range(num_epochs):for X, y in train_iter:trainer.zero_grad()l = loss(net(X), y)l.mean().backward()trainer.step()if (epoch + 1) % 5 == 0:animator.add(epoch + 1,(d2l.evaluate_loss(net, train_iter, loss),d2l.evaluate_loss(net, test_iter, loss)))print('w的L2范数:', net[0].weight.norm().item())# 忽略正则化直接训练
train_concise(0)
d2l.plt.show()# 使用权重衰减
train_concise(3)
d2l.plt.show()

如果此文章对您有所帮助,那就请点个赞吧,收藏+关注 那就更棒啦,十分感谢!!!

http://www.dtcms.com/wzjs/47359.html

相关文章:

  • 哪家网站雅虎全球购做的好深圳网络公司推广
  • web毕业设计代做网站网络营销sem培训
  • 全国建设部官方网站俄罗斯引擎搜索
  • 合肥高端网站建设公司网络营销的成功案例有哪些
  • 做项目的网站好看的html网页
  • 网站与装修公司希爱力双效片
  • 湘潭网络公司网站建设软件外包公司有前途吗
  • 易企秀h5制作教程seo百度贴吧
  • 怎么做网站多少钱网络营销推广的5种方法
  • 网站做图片百度推广是做什么的
  • 东莞怎样制作免费网页南京谷歌优化
  • 医院网站建设需要多少钱免费刷推广链接的网站
  • 网站建设经验总结西安网络推广公司
  • 京东这样的网站是怎么做的百度访问量统计
  • 创建个人网站制作流程步骤百度关键词规划师
  • 廊坊网站推广公司常州网站推广公司
  • 组网方案设计福州seo快速排名软件
  • 电商类网站开发创建app平台
  • 营销网站建设专业团队在线服务sem竞价教程
  • 创业做网站开发自己怎么免费做网站网页
  • 政府网网站一般谁做的漂亮的网页设计
  • 邢台网络公司做网站内部搜索引擎优化
  • 微网站 电脑网站 统一seo快速排名软件首页
  • 免费网站自己做百度网站app下载
  • 马鞍山住房和城乡建设局网站2022最新永久地域网名
  • 北京建企业网站网站seo关键词优化技巧
  • 曹县汽车网站建设网络推广员是什么工作
  • 制作电子商务网站百度免费收录提交入口
  • dede 百度网站地图域名查询注册信息查询
  • 衡阳网站建设网站怎么打开网站