当前位置: 首页 > news >正文

查询网站这么做asp个人网站模板下载

查询网站这么做,asp个人网站模板下载,成都全屋定制十大名牌,南充做网站论文《Scaling Local Self-Attention for Parameter Efficient Visual Backbones》 1、作用 HaloNet通过引入Haloing机制和高效的注意力实现,在图像识别任务中达到了最先进的准确性。这些模型通过局部自注意力机制,有效地捕获像素间的全局交互&#xf…

论文《Scaling Local Self-Attention for Parameter Efficient Visual Backbones》

1、作用

HaloNet通过引入Haloing机制和高效的注意力实现,在图像识别任务中达到了最先进的准确性。这些模型通过局部自注意力机制,有效地捕获像素间的全局交互,同时通过分块和Haloing策略,显著提高了处理速度和内存效率。

2、机制

1、Haloing策略

为了克服传统自注意力的计算和内存限制,HaloNet采用了Haloing策略,将图像分割成多个块,并为每个块扩展一定的Halo区域,仅在这些区域内计算自注意力。这种方法减少了计算量,同时保持了较大的感受野。

2、多尺度特征层次

HaloNet构建了多尺度特征层次结构,通过分层采样和跨尺度的信息流,有效捕获不同尺度的图像特征,增强了模型对图像中对象大小变化的适应性。

3、高效的自注意力实现

通过改进的自注意力算法,包括非中心化的局部注意力和分层自注意力下采样操作,HaloNet在保持高准确性的同时,提高了训练和推理速度。

3、独特优势

1、参数效率

HaloNet通过局部自注意力机制和Haloing策略,大幅度减少了所需的计算量和内存需求,实现了与当前最佳卷积模型相当甚至更好的性能,但使用更少的参数。

2、适应多尺度

多尺度特征层次结构使得HaloNet能够有效处理不同尺度的对象,提高了对复杂视觉任务的适应性和准确性。

3、提升速度和效率

通过优化的自注意力实现,HaloNet在不牺牲准确性的前提下,实现了比现有技术更快的训练和推理速度,使其更适合实际应用。

4、代码

import torch
from torch import nn, einsum
import torch.nn.functional as Ffrom einops import rearrange, repeat# 将设备和数据类型转换为字典格式def to(x):return {'device': x.device, 'dtype': x.dtype}# 确保输入是元组形式
def pair(x):return (x, x) if not isinstance(x, tuple) else x# 在指定维度上扩展张量
def expand_dim(t, dim, k):t = t.unsqueeze(dim=dim)expand_shape = [-1] * len(t.shape)expand_shape[dim] = kreturn t.expand(*expand_shape)# 将相对位置编码转换为绝对位置编码
def rel_to_abs(x):b, l, m = x.shaper = (m + 1) // 2col_pad = torch.zeros((b, l, 1), **to(x))x = torch.cat((x, col_pad), dim=2)flat_x = rearrange(x, 'b l c -> b (l c)')flat_pad = torch.zeros((b, m - l), **to(x))flat_x_padded = torch.cat((flat_x, flat_pad), dim=1)final_x = flat_x_padded.reshape(b, l + 1, m)final_x = final_x[:, :l, -r:]return final_x# 生成一维的相对位置logits
def relative_logits_1d(q, rel_k):b, h, w, _ = q.shaper = (rel_k.shape[0] + 1) // 2logits = einsum('b x y d, r d -> b x y r', q, rel_k)logits = rearrange(logits, 'b x y r -> (b x) y r')logits = rel_to_abs(logits)logits = logits.reshape(b, h, w, r)logits = expand_dim(logits, dim=2, k=r)return logits# 相对位置嵌入类
class RelPosEmb(nn.Module):def __init__(self,block_size,rel_size,dim_head):super().__init__()height = width = rel_sizescale = dim_head ** -0.5self.block_size = block_sizeself.rel_height = nn.Parameter(torch.randn(height * 2 - 1, dim_head) * scale)self.rel_width = nn.Parameter(torch.randn(width * 2 - 1, dim_head) * scale)def forward(self, q):block = self.block_sizeq = rearrange(q, 'b (x y) c -> b x y c', x=block)rel_logits_w = relative_logits_1d(q, self.rel_width)rel_logits_w = rearrange(rel_logits_w, 'b x i y j-> b (x y) (i j)')q = rearrange(q, 'b x y d -> b y x d')rel_logits_h = relative_logits_1d(q, self.rel_height)rel_logits_h = rearrange(rel_logits_h, 'b x i y j -> b (y x) (j i)')return rel_logits_w + rel_logits_h# HaloAttention类class HaloAttention(nn.Module):def __init__(self,*,dim,block_size,halo_size,dim_head=64,heads=8):super().__init__()assert halo_size > 0, 'halo size must be greater than 0'self.dim = dimself.heads = headsself.scale = dim_head ** -0.5self.block_size = block_sizeself.halo_size = halo_sizeinner_dim = dim_head * headsself.rel_pos_emb = RelPosEmb(block_size=block_size,rel_size=block_size + (halo_size * 2),dim_head=dim_head)self.to_q = nn.Linear(dim, inner_dim, bias=False)self.to_kv = nn.Linear(dim, inner_dim * 2, bias=False)self.to_out = nn.Linear(inner_dim, dim)def forward(self, x):# 验证输入特征图维度是否符合要求b, c, h, w, block, halo, heads, device = *x.shape, self.block_size, self.halo_size, self.heads, x.deviceassert h % block == 0 and w % block == 0, assert c == self.dim, f'channels for input ({c}) does not equal to the correct dimension ({self.dim})'q_inp = rearrange(x, 'b c (h p1) (w p2) -> (b h w) (p1 p2) c', p1=block, p2=block)kv_inp = F.unfold(x, kernel_size=block + halo * 2, stride=block, padding=halo)kv_inp = rearrange(kv_inp, 'b (c j) i -> (b i) j c', c=c)#生成查询、键、值q = self.to_q(q_inp)k, v = self.to_kv(kv_inp).chunk(2, dim=-1)# 拆分头部q, k, v = map(lambda t: rearrange(t, 'b n (h d) -> (b h) n d', h=heads), (q, k, v))# 缩放查询向量q *= self.scale# 计算注意力sim = einsum('b i d, b j d -> b i j', q, k)# 添加相对位置偏置sim += self.rel_pos_emb(q)# 掩码填充mask = torch.ones(1, 1, h, w, device=device)mask = F.unfold(mask, kernel_size=block + (halo * 2), stride=block, padding=halo)mask = repeat(mask, '() j i -> (b i h) () j', b=b, h=heads)mask = mask.bool()max_neg_value = -torch.finfo(sim.dtype).maxsim.masked_fill_(mask, max_neg_value)# 注意力机制attn = sim.softmax(dim=-1)# 聚合out = einsum('b i j, b j d -> b i d', attn, v)# 合并和组合头部out = rearrange(out, '(b h) n d -> b n (h d)', h=heads)out = self.to_out(out)# 将块合并回原始特征图out = rearrange(out, '(b h w) (p1 p2) c -> b c (h p1) (w p2)', b=b, h=(h // block), w=(w // block), p1=block,p2=block)return out# 输入 N C H W,  输出 N C H W
if __name__ == '__main__':block = HaloAttention(dim=512,block_size=2,halo_size=1, ).cuda()# 创建HaloAttention实例input = torch.rand(1, 512, 64, 64).cuda()# 创建随机输入output = block(input) # 前向传播print(output.shape)
http://www.dtcms.com/a/463079.html

相关文章:

  • 做网站用windows还是linux做我的世界壁纸的网站
  • 用 BP 神经网络预测公路运量:从原理到实战全流程
  • 个性个人网站模板成都市青羊区建设局官方网站
  • 专业上海网站建设公司排名凡科建站电话
  • 手机端网站seo济南会做网站的公司
  • 找个人合伙做网站wordpress重建伪静态
  • 蓝牙笔记(1)
  • 简单做一个舒尔特方格小游戏
  • jdk自带调优工具
  • 网站加载速度影响因素网站建设的步骤过程文库
  • 电子商务网站的后台管理系统爱网度假
  • C语言基础之指针3
  • 青岛网站权重提升联兴建设官方网站
  • 北大荒建设集团有限公司网站龙湖镇华南城网站建设
  • 中英网站搭建报价表网站制作公司拟
  • 从 C1K 到 C1M:高并发网络 I/O 模型的四次关键演进
  • 了解公司的网站网站案例 中企动力技术支持
  • 历史级行情来袭?
  • 站内免费推广的方式有哪些电商网站建设好么
  • 泰州做企业网站的哪里好深圳光明区最新消息
  • 网站建设结算系统注册一家公司需要多少费用
  • [论文阅读]Dataset Protection via Watermarked Canaries in Retrieval-Augmented LLMs
  • 2023自动化测试岗位面试题分享(部分给出答案,持续更新中。。。)
  • 宜兴网站建设ci框架建设网站案例
  • 淄博高效网站建设找哪家广东省企业信用信息网
  • 个人用云计算学习笔记 --22(Shell 编程-1)
  • 市场调研报告ppt模板成都网站优化软件
  • JVM 类加载机制深度解析
  • 【并发编程】详解volatile
  • 商务网站建设与维护实训报告网站建设的工作计划