当前位置: 首页 > news >正文

【深度学习基础】Temporal Fusion Transformer

Temporal Fusion Transformer

    • 1.GRU 门残差网络
    • 2.VSN 变量选择网络
    • 3. 静态协变量编码器
    • 4. 时间融合编码器
    • 5. 整体结构
    • 6. 参考资料

1.GRU 门残差网络

  • 输入:主输入,可选的上下文向量c

  • 不走残差:分线性特征处理
    走残差:线性处理
    最后Add到一起:线性和非线性结合到一起

  • 控制数据流动
    确定非线性和线性对模型特征贡献?
    作用:一方面,它可以进行静态上下文变量和动态变量的融合,另一方面,通过门控进行了特征选择操作,门控体现在GLU(门控线性单元)中,用了sigmoid控制信息的通过程度,具有良好的适应性,能够自动选择有效信息,自适应地调整网络复杂性。
    在这里插入图片描述

  • 从下向上看:全连接(Dense) → ELU(指数线性激活函数(比relu好点,有利于模型收敛)) → 全连接(Dense) → 门控线性单元(Gate)(Gated Linear Units (GLUs)) → Layernorm
    在这里插入图片描述

  • 门控线性单元(Gate)(Gated Linear Units (GLUs)):
    σ是sigmod,相当于权

http://www.dtcms.com/a/121909.html

相关文章:

  • TCP转发隧道
  • Go并发背后的双引擎:CSP通信模型与GMP调度|Go语言进阶(4)
  • K8S学习之基础七十九:关闭istio功能
  • 【c语言】倒置字符串
  • map/multimap
  • vue3项目中实现国际化语言切换【直接粘贴即可】
  • Windows找不到compiler.automake.allow.when.app.running怎么设置?
  • ArcGIS Engine开发教程--从零搭建GIS桌面应用
  • Redis学习总结(持续更新)
  • mysql之等值连接8个实例
  • 不同服务器架构(x86、ARM、Power、SPARC)对数据库使用的影响
  • 软件工程基础之设计模式
  • FFMEPG常见命令查询
  • 计算机视觉——深度学习图像处理中目标检测平均精度均值(mAP)与其他常用评估指标
  • 机器学习之PCA主成分分析详解
  • 强化学习原理二 BasicConcepts
  • 从MySQL快速上手大数据Hive
  • go游戏后端开发31:麻将游戏的碰牌与胡牌逻辑
  • 将外网下载的 Docker 镜像拷贝到内网运行
  • 【文献阅读】Capabilities of Gemini Models in Medicine
  • Quill富文本编辑器支持自定义字体(包括新旧两个版本,支持Windings 2字体)
  • MyBatis 动态 SQL 使用详解
  • MCP 服务搭建与配置学习资源部分汇总
  • 【CSS 选择器组合规则详解】
  • 2025-04-09 吴恩达机器学习6——神经网络(1):介绍
  • Spring Boot 3.x 中 WebClient 全面详解及示例
  • 文件上传漏洞原理学习
  • Synexens上海矽印 SP10 基于 DTOF 技术的单点激光雷达
  • Cursor+Claude 项目开发(辅助编程)
  • 沟通渠道混乱,信息传递延迟怎么办?