当前位置: 首页 > news >正文

@once_differentiable 自定义算子的用处

背景:在看大佬们pytorch 自定义算子时,发现在backward()用来once_differentiable修饰。

说明一下:

@once_differentiable是 PyTorch 中一个用于修饰自定义自动求导函数(Autograd Function)的 backward方法的装饰器。

from torch.autograd.function import once_differentiableclass GOF_Function(Function):@staticmethoddef forward(ctx, weight, gaborFilterBank):ctx.save_for_backward(weight, gaborFilterBank)output = _C.gof_forward(weight, gaborFilterBank)  # 调用C++扩展return output@staticmethod@once_differentiable  # 修饰backward方法def backward(ctx, grad_output):weight, gaborFilterBank = ctx.saved_tensorsgrad_weight = _C.gof_backward(grad_output, gaborFilterBank)  # 调用C++扩展return grad_weight, None

💡 ​简单来说​:@once_differentiable就像一个声明,告诉 PyTorch:“这个 backward方法到此为止,​一阶导数(_C.gof_backward)我提供了,但别再试图对它求高阶导了”。这在自定义算子涉及不可微的 C++ 代码、复杂操作或仅为推理优化时非常有用。

​但是一阶导数(_C.gof_backward)仍需正确实现​, backward方法仍然必须正确计算输出梯度相对于所有可微分输入的一阶导数。

这使得 backward方法就像一个计算梯度的“黑盒”:PyTorch 会调用它获取一阶梯度,但不会尝试对其内部过程再次进行求导(即计算二阶导数)。

http://www.dtcms.com/a/390138.html

相关文章:

  • 分子动力学--蛋白配体模拟
  • python第二节 基础语法及使用规范详解
  • 运维安全07 - JumpServer(堡垒机)介绍以及使用
  • 同一个电脑内两个进程间如何通信的几种方式
  • 《FastAPI零基础入门与进阶实战》第20篇:消息管理-封装
  • Pyside6 + QML - 信号与槽04 - Python 主动发射信号驱动 QML UI
  • 【系列文章】Linux系统中断的应用06-中断线程化
  • ruoyi-vue(十五)——布局设置,导航栏,侧边栏,顶部栏
  • 第13章 线程池配置
  • 任天堂获得新专利:和《宝可梦传说:阿尔宙斯》相关
  • Redis MONITOR 命令详解
  • 七、Java-多线程、网络编程
  • 三轴云台之动态补偿机制篇
  • MySQL备份与恢复实战指南:从原理到落地,守护数据安全
  • 手机上记录todolist待办清单的工具选择用哪一个?
  • 仓颉编程语言青少年基础教程:Interface(接口)
  • 用 go-commons 打造一个轻量级内置监控系统,让服务开箱即用
  • PyQt6之QSpinBox计数器应用
  • 大模型应用开发4-MCP实战
  • Ruoyi-vue-plus-5.x第八篇文件管理与存储: 8.3 文件处理功能
  • 【51单片机】【protues仿真】基于51单片机PM2.5温湿度测量蓝牙系统
  • 病毒学原理
  • 怎样快速搭建一个高效的数据存储系统:Python实战指南
  • 音频驱动视频生成新突破:Wan2.2-S2V 模型全面体验与教程
  • 关于pc端分页+h5端加载更多的vue3简单钩子函数
  • MySQL 练习题
  • 推客小程序二级分销机制设计与实现:从0到1搭建裂变增长引擎
  • 【C++】多态(上)
  • uos中创建自定义Ip (192.168.137.1)的热点的方法
  • 【每日算法】搜索插入位置 LeetCode