当前位置： 首页 > news >正文

4/24杂想

news 来源：原创 2025/5/2 22:14:19

1.BN

激活层前，加快模型训练时的收敛速度，避免梯度爆炸or梯度消失，起到一定的正则化作用，几乎代替了Dropout

批量标准化：标准化后数据服从均值为0，方差为1，之后yi = gamma*xi head+beta

每层的输入分布稳定

【基础算法】六问透彻理解BN(Batch Normalization） - 知乎

预防过拟合：

dropout【训练随机失活，推理不会】，BN，正则化【加在损失函数】

相关文章：

  • 30分钟算法题完成
  • 使用命令行加密混淆C#程序
  • python中的logging库详细解析
  • AI超级智能体教程（三）---程序调用AI大模型的四种方式（SpringAI+LangChain4j+SDK+HTTP）
  • 二项式分布html实验
  • Low Poly 风格 | 飞机飞行可视化系统
  • 【计算机视觉】CV实战- 深入解析基于HOG+SVM的行人检测系统：Pedestrian Detection
  • 深入解析Mlivus Cloud核心架构：rootcoord组件的最佳实践与调优指南
  • 防火墙技术深度解析：从包过滤到云原生防火墙的部署与实战
  • 软测面经（私）
  • API/SDK
  • 【金仓数据库征文】金仓数据库：开启未来技术脑洞，探索数据库无限可能
  • 【基于Qt的QQMusic项目演示第一章】从界面交互到核心功能实现
  • 基于HTML+CSS实现的动态导航引导页技术解析
  • 数字孪生：从概念到实践，重构未来产业的“虚拟镜像”
  • Java实现背景图片加自适应水印图片
  • Android 编译问题 prebuilts/clang/host/linux-x86
  • Node.js 包管理工具介绍
  • 彻底卸载Python
  • 深入了解Activiti工作流引擎：从基础到实战
  • 五一去哪玩？“时代交响”音乐会解锁艺术假期
  • 近七成科创板公司2024年营收增长，285家营收创历史新高
  • 深观察丨从“不建议将导师挂名为第一作者”说开去
  • 辽宁辽阳市白塔区一饭店发生火灾，当地已启动应急响应机制
  • 事关广大农民利益，农村集体经济组织法5月1日起施行
  • 新希望一季度归母净利润4.45亿，上年同期为-19.34亿