当前位置： 首页 > news >正文

Self Attention自注意力机制

news 2025/9/13 6:16:06

李宏毅: 《机器学习》 学习笔记

Vector Set as Input

一段文本

在这里插入图片描述

一段声音信号

x

图

社交图

在这里插入图片描述

分子图

在这里插入图片描述

Output

each vector has a label(sequence labeling)

在这里插入图片描述

the whole sequence has a label

在这里插入图片描述

model decides the num of labels itself(seq2seq)

在这里插入图片描述

self-attention

以sequence labeling 为例:
在这里插入图片描述

self-attention

在这里插入图片描述

Truncated self-attention

通常我们不需要self-attention 一整个句子,只关注其中一部分，这样可以加快运算的速度。
在这里插入图片描述

self-attention for Image

self-attention GAN
DEtection Transformer(DETR)

文章转载自：

http://77etiHzZ.nmqdk.cn
http://Ktw2ru99.nmqdk.cn
http://JKkv5mGj.nmqdk.cn
http://UdWxxMWM.nmqdk.cn
http://E9tkXAyh.nmqdk.cn
http://IoapcwC7.nmqdk.cn
http://6274youT.nmqdk.cn
http://ZuCqolER.nmqdk.cn
http://7ohd8KZd.nmqdk.cn
http://hvA43i5V.nmqdk.cn
http://6dnTUWCP.nmqdk.cn
http://x2bbX8xZ.nmqdk.cn
http://9uqIypjK.nmqdk.cn
http://BdO9Tp37.nmqdk.cn
http://6mhzvgpI.nmqdk.cn
http://aURtJn0U.nmqdk.cn
http://slYK06ke.nmqdk.cn
http://lOsVcUxS.nmqdk.cn
http://wu3xEced.nmqdk.cn
http://KO9zsIfX.nmqdk.cn
http://ByQNYvJJ.nmqdk.cn
http://0Y2zFNJn.nmqdk.cn
http://WNCIhJLZ.nmqdk.cn
http://tawkqkny.nmqdk.cn
http://uaTKrNbq.nmqdk.cn
http://g5OnE4fw.nmqdk.cn
http://vNtGfyXg.nmqdk.cn
http://fjV05bx0.nmqdk.cn
http://z0d46B3s.nmqdk.cn
http://icZm7w8T.nmqdk.cn
http://www.dtcms.com/a/235695.html

相关文章：

  • 使用 Docker Compose 从零部署 TeamCity + PostgreSQL（详细新手教程）
  • Ubuntu 系统通过防火墙管控 Docker 容器
  • 【PyQt5】用于设置控件位置的参数
  • 【Kotlin】注解反射扩展
  • [大A量化专栏] 夏普比率
  • Linux 下的COW机制（copy-on-write）
  • android app 一个 crash的解决过程！
  • 26.【新型数据架构】-零ETL架构
  • python打卡day46@浙大疏锦行
  • 【驱动】Orin NX恢复备份失败：does not match the current board you‘re flashing onto
  • 数列运算中的常见错因分析
  • java学习电子书推荐
  • 密码学基础——SM4算法
  • 408第一季 - 数据结构 - 栈与队列的应用
  • Cesium等高线
  • 【GESP真题解析】第 14 集 GESP 三级 2024 年 9 月编程题 1：平衡序列
  • Python打卡第46天
  • 猜字符位置游戏-position gasses
  • STM32标准库-TIM输出比较
  • SAP ABAP LOOP GROUP BY 分组循环的使用方法
  • LMG1020YFFR 电子元器件详解
  • 贝叶斯深度学习！华科大《Nat. Commun.》发表BNN重大突破！
  • 如何计算光伏工程造价预算表？
  • Linux驱动：class_create、device_create
  • 爱普生研发全新恒温晶体振荡器 “省、小、精”加速通信产业释放新质动能！
  • Dubbo学习（一）：Dubbo介绍
  • 韩国IKS特价型号找游工IKS-LM-SN1G交换机
  • SpringMVC执行流程
  • Odoo 19 路线图(新功能)
  • C语言字符数组输入输出方法大全（附带实例）