当前位置： 首页 > news >正文

4/24杂想

news 2025/7/1 10:30:04

1.BN

激活层前，加快模型训练时的收敛速度，避免梯度爆炸or梯度消失，起到一定的正则化作用，几乎代替了Dropout

批量标准化：标准化后数据服从均值为0，方差为1，之后yi = gamma*xi head+beta

每层的输入分布稳定

【基础算法】六问透彻理解BN(Batch Normalization） - 知乎

预防过拟合：

dropout【训练随机失活，推理不会】，BN，正则化【加在损失函数】

http://www.dtcms.com/a/155697.html

相关文章：

  • 30分钟算法题完成
  • 使用命令行加密混淆C#程序
  • python中的logging库详细解析
  • AI超级智能体教程（三）---程序调用AI大模型的四种方式（SpringAI+LangChain4j+SDK+HTTP）
  • 二项式分布html实验
  • Low Poly 风格 | 飞机飞行可视化系统
  • 【计算机视觉】CV实战- 深入解析基于HOG+SVM的行人检测系统：Pedestrian Detection
  • 深入解析Mlivus Cloud核心架构：rootcoord组件的最佳实践与调优指南
  • 防火墙技术深度解析：从包过滤到云原生防火墙的部署与实战
  • 软测面经（私）
  • API/SDK
  • 【金仓数据库征文】金仓数据库：开启未来技术脑洞，探索数据库无限可能
  • 【基于Qt的QQMusic项目演示第一章】从界面交互到核心功能实现
  • 基于HTML+CSS实现的动态导航引导页技术解析
  • 数字孪生：从概念到实践，重构未来产业的“虚拟镜像”
  • Java实现背景图片加自适应水印图片
  • Android 编译问题 prebuilts/clang/host/linux-x86
  • Node.js 包管理工具介绍
  • 彻底卸载Python
  • 深入了解Activiti工作流引擎：从基础到实战
  • github把自己的jar包发送到maven中央仓库
  • 技术书籍推荐(003)
  • 用node打开一个网页
  • 为什么使用Throwable app不崩溃，使用Exception会崩溃
  • AlarmClock4.8.4(官方版)桌面时钟工具软件下载安装教程
  • nacos设置权重进行负载均衡不生效
  • 在 Spring Boot 中实现 WebSockets
  • URP-利用矩阵在Shader中实现物体的平移和缩放
  • 中建海龙MiC模块化建筑赋能“好房子”新范式
  • Linux 权限修改详解：chmod 命令与权限数字的秘密