登上Nature！清华大学光学神经网络研究突破

2025深度学习发论文&模型涨点之——光学神经网络

光学神经网络的基本原理是利用光的传播、干涉、衍射等特性来实现神经网络中的信息处理和计算。在传统神经网络中，信息以电信号的形式在电子元件之间传输和处理，而在光学神经网络中，信息则以光信号的形式进行传输和处理。例如，光的强度可以用来表示神经元的激活值，光的相位可以用来表示权重等。

我整理了一些光学神经网络【论文+代码】合集，需要的同学看我主页

论文精选

论文1：

FatNet: High Resolution Kernels for Classification Using Fully Convolutional Optical Neural Networks

FatNet：使用全卷积光学神经网络的高分辨率核进行分类

方法

全卷积网络架构：将传统卷积神经网络转换为全卷积网络，利用自由空间4f系统加速推理速度。

高分辨率核与特征图：使用高分辨率的核和特征图，减少通道数量，提高光学推理速度。

光学模拟器：开发了光学模拟器OptConv2d，模拟4f系统的光传播，验证FatNet在光学设备上的性能。

训练与验证：在CIFAR-100数据集上训练FatNet，并与ResNet-18进行比较。

创新点

高分辨率核的优势：FatNet使用高分辨率核，减少了卷积操作次数，相比ResNet-18减少了8.2倍的卷积操作。

性能提升：尽管FatNet的测试准确率比ResNet-18低6%，但在光学推理中速度更快，尤其是在大批次推理时。

光学推理效率：FatNet在光学设备上比ResNet-18更快，且在3136的大批次推理中，光学推理的加速效果显著。

论文2：

[Nature] Fully forward mode training for optical neural networks

光学神经网络的全前向模式训练

方法

全前向模式（FFM）学习：在物理系统上直接进行计算密集型训练过程，利用空间对称性和洛伦兹互易性，消除了反向传播的需要。

光学系统映射：将光学系统映射到参数化的神经网络，通过测量输出光场计算梯度，更新设计区域的折射率。

实验验证：在自由空间和集成光子学中验证了FFM学习方法，展示了其在高分辨率成像、非视距成像和非厄米特系统中的应用潜力。

创新点

训练效率提升：首次实现了光学神经网络的全前向模式训练，无需反向传播，显著提高了训练效率。

高分辨率成像：在通过散射介质的聚焦实验中，FFM学习达到了接近衍射极限的分辨率，平均FWHM为81.2μm，PSNR为8.46dB。

非视距成像：在非视距成像实验中，FFM学习实现了1ms曝光时间的动态成像，能够分辨出最小56.0μm的线对。

能效提升：在高能效处理中，FFM学习实现了每秒每瓦10^18次操作的能效。

论文3：

[Nature子刊] Single-chip photonic deep neural network with forward-only training

单芯片光子深度神经网络的全前向训练

方法

单芯片集成：在单个芯片上集成了多个相干光学处理器单元，用于矩阵代数和非线性激活函数。

全光学推理：实现了全光学的深度神经网络推理，具有极低的延迟（410皮秒）和高能效。

现场训练：提出了一种现场训练方法，直接在硬件上计算模型参数的导数，优化权重。

实验验证：在六类元音分类任务上验证了该系统的性能，达到了92.5%的准确率。

创新点

低延迟推理：实现了410皮秒的极低延迟，相比传统电子系统显著提升。

高能效：通过全光学处理，每操作的能量消耗低至4.6皮焦耳，相比传统电子系统大幅降低。

现场训练：首次实现了全光学深度神经网络的现场训练，准确率达到92.5%，与数字计算机相当。

可扩展性：该架构可以扩展到更大的系统，通过多芯片集成和光谱复用进一步降低能耗。