DEEPPOLAR：通过深度学习发明非线性大核极坐标码（1）
原文：《DEEPPOLAR: Inventing Nonlinear Large-Kernel Polar Codes via Deep Learning》
摘要
信道编码设计的进步是由人类的创造力推动的，而且恰如其分地说，这种进步是零星的。极性码是在Arikan极化核的基础上开发的，代表了编码理论的最新突破，并已成为中短块长度体制的最先进纠错码。
为了使良好信道码的发明自动化，特别是在这种情况下，我们探索了一种新的Polar码的非线性推广，我们称之为DEEPPOLAR码。DEEPPOLAR码通过利用更大的内核大小并通过神经网络对这些内核和匹配的解码器进行参数化，扩展了传统的Polar编码框架。我们的结果表明，与现有的神经代码和传统的Polar代码相比，这些数据驱动代码有效地利用了更大内核大小的优势，从而提高了可靠性。源代码可通过此链接获得。
1.引言
可靠的数字通信是信息时代的主要工作。为了确保在嘈杂信道上的可靠通信，通常会在传输的数据中引入冗余，以便接收器能够忠实地重建消息。这一关键过程被称为纠错编码（信道编码），是有线（以太网、电缆）和无线（蜂窝、WiFi、卫星）通信系统的核心。在过去的七十年里，一项重要的研究重点是设计可靠的代码（由一对编码器-解码器组成），在具有高效解码器的同时实现良好的可靠性。
规范设置是加性高斯白噪声（AWGN）信道上的点对点可靠通信之一，在此设置中代码的性能取决于其金本位。品质因数可以精确测量：误码率（BER）测量输入比特中被错误解码的比例；块错误率（BLER）测量至少一个原始数据比特被错误解码的次数。
编码理论领域经历了零星但重大的突破，这在很大程度上是由人类的创造力推动的。极化码由Arikan于2009年发明（Arikan，2009），是编码理论中最深刻的发展之一，极大地振兴了该领域。极性码是代数和图形编码结构的组合，是第一类具有确定性结构的码，被证明可以实现香农容量。重要的是，这是通过低复杂度的编码和解码实现的。Polar码的影响在其提出后的短短十年内就被整合到5G标准中，这是一个非常快的时间表，因为新的编码方法通常需要几十年才能被纳入蜂窝标准（3GPP，2018；Bioglio等人，2020）。
Polar码的基本构建块是一个二进制矩阵
,称为极化核。表示线性码的生成矩阵是由G与自身的几个Kronecker积得到的。极性码的这种构造产生了一种称为“信道极化”的显著现象。这一过程将二进制无记忆信道的n个视图转换为n个合成“比特信道”，每个信道都具有不同的可靠性。随着块长度n渐近增大，这些比特信道变得极化，要么完全无噪声，要么完全有噪声。极性编码是通过在无噪声比特信道中发送信息比特来进行的，而有噪声的输入比特被“冻结”到已知值。容量是通过顺序连续抵消（SC）解码器来实现的。
极性码和SC解码对于大的渐近块长度（large asymptotic blocklengths）是最优的；然而，缺乏实用的有限长性能。认识到这一局限性，最近的研究集中在增强极坐标编码器和提高解码性能上。具体而言：
- ①循环冗余校验（CRC）与极性码的级联提高了距离特性。将其与连续取消列表（SCL）解码相结合，显著提高了解码性能（Tal&Vardy，2015；Niu&Chen，1 a，2012）。因此，Polar码已成为中短块长体制中的最先进技术，并被纳入5G标准。尽管如此，SCL解码引入了相当大的解码复杂性和延迟，标志着性能和计算效率之间的权衡。
与此同时，人们也在努力改进极坐标编码器。
- ②一种方法涉及修改Polar编码结构。一个值得注意的改进是极化调整卷积（PAC）码（Arıkan，2019），它在极性编码之前使用卷积预编码。值得注意的是，PAC码在短块长度范围内接近二进制码的有限长度信息理论界限。然而，PAC码的实际应用受到其高解码复杂性的限制，需要极大的列表大小才能有效解码。
- ③另一种想法是增加偏振核的大小。事实上，（Korada等人，2010）证明了极化适用于所有核，只要它们在任何列置换下都不是酉的，也不是上三角的。
- ④此外，人们可以发现大的极化核（ℓ≥8）可以实现更快的极化（以“标度指数”为特征）。尽管有这些理论上的优势，但由于其解码复杂性的增加，具有大内核的Polar码在实践中并不是首选。然而，最近有基于专门设计的极化核来解决这些挑战的工作（Trifonov，2023）。
在这项工作中，我们的目标是解决这样一个问题：我们如何自动搜索好的代码？事实上，通过使用神经网络对编码器和解码器进行参数化和学习，这是可能的。然而，使用这种方法构建有效的非线性代码具有很高的挑战性：文献中有大量文献记载，使用现成的神经架构进行天真的参数化通常会导致性能甚至比重复代码还差，如App中进一步阐述的那样。F.3。相反，一种更有前景的方法是设计能够实现结构化冗余的神经架构。具体来说，我们的工作通过探索极化驱动结构的非线性推广，深入研究了代数编码理论和机器学习之间的创新交叉点。这可以通过神经网络对每个内核进行参数化来实现，将极化驱动代码结构的信息论特性与深度学习的适应性和学习能力相结合。
代数编码结构和深度学习之间的这种相互作用是一个相对未知的领域。我们的算法建立在（Makkuva等人，2021）奠定的基础之上，他将KO码作为RM码的非线性推广。尽管这项工作标志着一个重大的飞跃，但它受到对Reed-Muller（RM）编码解码方案的依赖的限制，这限制了它在更广泛的速率范围内的适用性。重要的是，KO码的架构被证明不适用于Polar码，只能扩展到（64,7）码。相比之下，我们的工作提出了DEEPPOLAR码，这是Polar码（包括RM码作为特例）编码和解码结构的非线性推广。这使我们能够无缝扩展到各种速率和块长度。
DEEPPOLAR（n=256，k=37）具有适当的内核大小（例如ℓ = 16,32）在具有-2dB信噪比的AWGN信道上优于经典的Reed-Muller、Polar和最先进的神经KO码（Makkuva等人，2021）
DEEPOLAR的核心创新在于它利用了更大尺寸的核，这使得神经网络能够探索一个可扩展的函数空间。这由一个匹配的类SC神经解码器补充，该解码器在AWGN信道中提取的样本上进行联合训练。
更大的内核大小对于DEEPPOLAR在规范AWGN信道上实现实质性性能改进至关重要，如图1所示，n=256，k=37。通过广泛的实证研究，我们发现核大小ℓ = √ n在平衡偏差和方差方面最有效，使其能够在该块长度和速率下实现比基线Polar和RM码以及KO（8,2）码SOTA更低的误码率。此外，我们设计了一个培训课程( training curriculum:你知道什么是Curriculum Training模型吗-CSDN博客)，该课程基于极坐标编码结构的固有嵌套层次结构，以加速培训。这种有原则的编码理论结构与有针对性的训练方法的结合旨在实现跨广阔信息空间的有效泛化。总之，我们做出了以下贡献:
- •我们提出了DEEPOLAR，这是一种通过基于大型非线性神经网络的内核对Polar码进行新的泛化的方法。
- •DEEPOLAR优于经典的Polar和ReedMuller码、最先进的二进制线性码以及KO码、最新的基于ML的码，同时可扩展到各种码率。
- •我们开发了一种基于课程的原则性培训编码方法(a principled curriculum-based training codes methodology)使DEEPPOLAR能够推广到具有挑战性的高信噪比状态(high SNR regime)。