文献阅读笔记【雷达辐射源识别】：Recognition of Unknown Radar Emitters with Machine Learning

出版时间, 作者, 期刊

• 出版时间：手稿接收于2021年2月12日，修改于2021年5月12日，接受于2021年6月21日（DOI: 10.1109/TAES.2021.3098125）
• 作者：Sabine Apfeld、Alexander Charlish（IEEE高级会员）
• 期刊：IEEE Transactions on Aerospace and Electronic Systems

Summary

【背景】
电子情报（ELINT）需通过截获、分析雷达信号识别辐射源，但传统基于数据库的波形参数匹配方法因敏捷多功能雷达的出现失效。现有机器学习分类器多基于“闭集假设”（仅识别已知类别），无法满足ELINT中“开集识别”（区分已知、已知未知、未知未知辐射源）的核心需求。雷达信号以脉冲描述字（PDW）序列形式存在，传统开集识别方法（如OpenMax）难以适配序列数据，且ELINT领域相关研究稀缺。

【方法】

1. 核心模型基础：基于“分层辐射模型”，将雷达辐射视为具有层级结构的“语言”——字母（脉冲，含RF、PW、PRI等PDW参数）→音节（脉冲群）→单词（雷达驻留），符号通过word2vec编码（UNK为未知符号占位符）；
2. 两种核心框架：无记忆的马尔可夫链（MC）与有记忆的长短期记忆网络（LSTM）；
3. 六种具体方法：
   • LSTM变体：LSTM-CE（交叉熵损失）、LSTM-EOS（熵开集损失）、LSTM-DOC（深度开集分类损失）、LSTM-UG（未知门，仅区分已知/未知）；
   • MC变体：MC（基于符号转移矩阵）、MC-UG（未知门，求和已知类概率）；
4. 已知未知数据生成：生成UNK序列（纯未知符号）、随机已知符号序列、修改MC转移矩阵的“变异”辐射源（QoSalt、Rules-v1alt）；
5. 训练与测试设计：5种训练场景（Case 0-V，差异在于K与V的组合）、10种测试场景（Case 1a-5a、1b-5b，差异在于Rules-v2属K或U），测试序列长度600-1400、数据损坏（20%缺失/额外符号）场景。

【结果】

1. 未知识别能力：不使用已知波形的未知辐射源（如UNK序列）即使数据损坏也能可靠识别（拒绝率≥96%），与已知类相似的未知源（如Unk-1、Unk-2）检测难度高；
2. 方法性能对比：
   • 理想数据+短序列：MC在音节层级表现最优（识别精度超LSTM）；
   • 长序列+损坏数据：LSTM（尤其是LSTM-CE、LSTM-EOS）更鲁棒，MC对数据损坏敏感；
   • 层级优势：单词层级的区分/拒绝精度显著高于音节层级（因未知源与已知源的单词重叠更少）；
3. 精度平衡：最优配置需权衡“区分精度”（已知/未知）与“识别精度”（已知类分类），如LSTM-CE在Case IV+δ=0.0时区分精度最优，Case 0+δ=0.4时识别精度最优。

【结论】

1. 基于分层辐射模型的开集识别方法可有效检测未知雷达辐射源，单词层级的建模对提升未知识别能力至关重要；
2. MC与LSTM各有适用场景：MC适合理想数据、需快速决策（短序列）的场景，LSTM适合数据损坏、长序列的场景；
3. 生成的已知未知数据（如变异辐射源）能有效提升模型对“未知未知”的泛化能力，阈值与训练场景的组合优化可平衡区分与识别精度。

Research Objective

1. 研究六种基于分层辐射模型的开集识别方法（MC与LSTM变体）在ELINT场景中的性能，验证其区分“已知（K）-已知未知（V）-未知未知（U）”辐射源的有效性；
2. 评估方法在理想数据与损坏数据（20%缺失/额外符号）、不同序列长度（600-1400）、不同K/U组合下的鲁棒性；
3. 找到兼顾“区分精度”（已知/未知）与“识别精度”（已知类分类）的最优配置（训练场景+阈值）；
4. 对比MC（无记忆）与LSTM（有记忆）框架的适用范围，为ELINT实际应用提供方法选择依据。

Background / Problem Statement

问题背景

ELINT的核心任务是截获雷达脉冲并转换为PDW序列，通过分析识别辐射源身份。传统方法依赖“PDW参数-数据库匹配”，但敏捷多功能雷达的波形参数动态变化（如PRF捷变），导致该方法精度大幅下降。现有机器学习分类器（如CNN、普通LSTM）均基于“闭集假设”，仅能识别训练过的已知类，无法标记未知辐射源——而ELINT中未知辐射源（如新型雷达）的优先识别与记录对情报收集至关重要，因此需解决“开集识别”问题。

研究现状

1. 开集识别领域：主流方法分为“阈值法”（对比分类器输出与阈值）和“加未知类法”（将未知视为一个类别），但OpenMax等经典方法依赖静态特征（如图像），难以适配雷达PDW的序列特性；
2. ELINT领域：相关研究极少，现有方法多被LSTM替代（如早期自组织神经网络）或缺乏未知类训练细节（如未说明V数据生成方式），且未考虑雷达信号的层级结构。

需解决的问题

1. 设计适配雷达PDW序列的开集识别方法，有效区分K、V、U三类输入；
2. 在“未知未知数据不可得”的前提下，通过已知未知数据训练，提升模型对U的泛化能力；
3. 平衡“已知类识别精度”与“未知类拒绝精度”，避免过度拒绝已知源或误判未知源；
4. 确保方法在数据损坏场景（如低SNR导致的符号缺失/错误）下仍保持性能。

问题出现的原因分析

1. 信号特性适配难：雷达信号是动态PDW序列，传统开集方法（如基于静态特征的OpenMax）无法捕捉序列的时序依赖；
2. 未知数据稀缺：“未知未知”辐射源（如新型雷达）的数据在训练阶段不可得，需依赖“已知未知”数据间接建模，但若V与U差异大，泛化能力会下降；
3. 相似性干扰：部分未知源与已知源共享大量波形参数（如Unk-1使用已知源的高频单词），导致特征重叠度高，难以区分；
4. 数据鲁棒性要求：ELINT实际应用中，低SNR会导致PDW符号缺失或错误，传统MC等方法对这类噪声敏感。

问题解决思路

1. 层级建模：将PDW序列映射为符号序列（音节、单词），利用层级结构减少未知与已知源的特征重叠（如单词层级重叠更少）；
2. 双框架建模：用MC捕捉符号的短期转移规律（无记忆），用LSTM捕捉长期时序依赖（有记忆），覆盖不同序列长度需求；
3. 损失函数优化：针对开集特性设计损失（如EOS强制V的概率均匀分布、DOC用sigmoid替代softmax避免强制概率求和为1）；
4. 数据增强与评估：生成多样化的已知未知数据，通过多场景（理想/损坏、短/长序列）测试验证方法鲁棒性。

Method(s)

问题建模

1. 雷达辐射的层级语言模型（图2）：
   • 字母：单个脉冲（PDW参数：RF、PW、PRI）；
   • 音节：脉冲群（常见脉冲组合）；
   • 单词：雷达驻留（音节组合）；
   • 符号编码：用word2vec将符号映射为数值向量，全局字典Ω^l含所有已知符号，UNK代表未收录符号；
2. 开集识别任务定义：
   • 输入：去交错后的符号序列（音节/单词）；
   • 输出：若输入属于K（已知类），输出类别索引c；若属于V（已知未知）或U（未知未知），输出∅（未知）；
   • 数学表达：$\hat{c}(x)=\{\begin{array}{ll}c& class(x)=k_c\in \mathbb{K}\\ \varnothing & else\end{array}$。

作者解决问题的方法/算法

1. LSTM系列方法（图3）

方法	损失函数与核心逻辑	训练场景与阈值
LSTM-CE	交叉熵损失（$\mathbb{H}(P,Q)=-{\mathbb{E}}_{x\sim P}logQ(x)$），分两种模式： - 阈值法（Case 0）：对比max(softmax输出)与δ； - 加未知类（Case I-V）：V数据标记为“未知类”	Case 0（仅K）用δ=0.4-1.0； Case I-V（K+V）无阈值（δ=0.0）
LSTM-EOS	对K用CE损失，对V强制概率均匀分布（$J_E(x)=-\frac{1}{	\mathbb{K}
LSTM-DOC	用sigmoid替代softmax（概率无需求和为1），二进制CE损失（$J_{DOC}(x)=\sum -1_{k_c}(x)log\sigma ({\tilde{y}}_c)$）	仅Case I-V，δ=0.4-0.5，训练难度高（易发散）
LSTM-UG	CE损失，仅输出“已知”（idx=0）或“未知”（idx=1），不区分具体已知类	仅Case I-V，无阈值

2. MC系列方法（图4）

方法	核心逻辑	训练场景与阈值
MC	估计每个已知源的符号转移矩阵$\hat{P}_e(\omega_j	\omega_i)$，用贝叶斯公式计算源概率：$\hat{P}(e
MC-UG	求和所有已知源的概率$\hat{P}(known	\bar{\omega})=\sum_{e\in\mathbb{K}}\hat{P}(e

3. 已知未知数据生成

• UNK序列：纯UNK符号（模拟完全未知信号）；
• Random序列：随机采样已知符号（模拟符号分布异常的未知源）；
• 变异辐射源（QoSalt、Rules-v1alt）：修改MC转移矩阵的行（反转Top-n概率、随机重加权、不变），采样生成序列（模拟与已知源相似的未知源）。

是否基于前人的方法

是，核心方法均基于前人研究，具体如下：

1. 分层辐射模型：基于作者之前的研究（[15,24,25]），将雷达辐射类比语言层级；
2. 开集损失函数：EOS损失来自[13]（熵开集损失），DOC损失来自[11]（深度开集分类，sigmoid替代softmax）；
3. 符号编码：word2vec来自[26,27]（用于符号的数值映射，UNK处理未知符号）；
4. MC与LSTM建模：MC基于作者之前的辐射源转移矩阵研究（[16]），LSTM架构基于雷达源识别的前期工作（[2]）。

基于了哪些

• 开集识别的两种核心范式：阈值法（[8,9]）、加未知类法（[10,13]）；
• 雷达信号的PDW序列去交错预处理（[1]）；
• 类概率输出网络的思想（[22,23]），用于MC的未知类概率估计。

Evaluation

作者如何评估自己的方法：

评估指标

1. 区分精度（$ac{c}_{dist}$）：衡量已知/未知的区分能力，为接受精度与拒绝精度的均值：
   • 接受精度（$ac{c}_{acpt}$）：已知类被正确接受的比例，$ac{c}_{acpt}(s)=\frac{1}{|\mathbb{K}|}{\sum }_{e_i,e_j\in \mathbb{K}}acc({\hat{Y}}_s^{e_i},Y_{e_j},1)$；
   • 拒绝精度（$ac{c}_{rej}$）：V/U被正确拒绝的比例，$ac{c}_{rej}(s)=\frac{1}{|\mathbb{V}\cup \mathbb{U}|}{\sum }_{e\in \mathbb{V}\cup \mathbb{U}}acc({\hat{Y}}_s^e,Y_{unk},1)$；
   • 综合：$ac{c}_{dist}(s)=\frac{1}{2}(ac{c}_{acpt}(s)+ac{c}_{rej}(s))$；
2. 识别精度（$ac{c}_{id}$）：衡量已知类的分类能力，$ac{c}_{id}(s)=\frac{1}{|\mathbb{K}|}{\sum }_{e\in \mathbb{K}}acc({\hat{Y}}_s^e,Y_e,1)$；
3. 鲁棒性指标：损坏数据（20%缺失/额外符号）下的精度相对下降率（$ac{c}^{rel}=\frac{ac{c}^{corrupt}-ac{c}^{ideal}}{ac{c}^{ideal}}\times 100\%$）。

实验的setup是什么样的：

参数设置

1. 数据来源：机载多功能雷达仿真数据，3种辐射源（QoS：25380音节、26653单词；Rules-v1：103音节、21单词；Rules-v2：27786音节、34440单词）；
2. 训练/验证/测试划分：8个场景，6个用于训练、2个用于LSTM验证、8个用于测试（480次/源）；
3. LSTM参数：批大小$\lfloor \frac{120}{|\mathbb{K}\cup \mathbb{V}|}\rfloor \times |\mathbb{K}\cup \mathbb{V}|$，层数1-2层，细胞数4-512（表III，按方法与层级调优），保存验证损失最低的 checkpoint；
4. 测试变量：阈值δ∈{0.4,0.5,0.6,0.7,0.8,0.9,1.0}，序列长度∈{600,800,1000,1200,1400}，数据损坏：20%随机缺失/额外符号（额外符号来自全局字典）。

实验场景

1. 训练场景（Case 0-V，表I）：
   • Case 0：仅K（QoS、Rules-v1、Rules-v2），闭集训练；
   • Case I：K（3个）+V（UNKs、Random）；
   • Case II-V：K（QoS、Rules-v1，不含Rules-v2）+V（组合UNKs、Random、QoSalt、Rules-v1alt）；
2. 测试场景（表IVa、IVb）：
   • 测试case ‘a’（训练Case 0/I）：Rules-v2属K，U为Unk-1~Unk-4；
   • 测试case ‘b’（训练Case II-V）：Rules-v2属U，U为Rules-v2+Unk-1~Unk-4；
   • 未知源定义：Unk-1（1已知单词+1已知音节）、Unk-2（1已知单词+8已知音节）、Unk-3（2已知单词+1未知单词）、Unk-4（1已知单词+2未知单词）。

感兴趣实验数据和结果有哪些：

1. 层级性能对比（图6、10）：
   • 音节层级：MC的区分精度（76.94%）高于LSTM-CE（71.14%），识别精度（95.24%）远超LSTM-CE（84.88%）；
   • 单词层级：LSTM-CE的区分精度（83.96%）接近MC（80.92%），识别精度（95.15%）与MC（95.36%）持平；
2. 数据损坏鲁棒性（图7、11）：
   • 缺失符号：LSTM几乎无精度损失（如LSTM-CE音节层级$ac{c}^{rel}=-1\%$），MC精度下降12%-22%；
   • 额外符号：LSTM-CE单词层级$ac{c}^{rel}=-17\%$，MC下降33%-62%；
3. 相似未知源检测（图14、15）：
   • Unk-1/2（纯已知符号）：测试case 'a’中拒绝率<20%，case 'b’中LSTM-EOS拒绝率提升至40%-60%；
   • Unk-3/4（含未知符号）：所有方法拒绝率>40%，单词层级超65%；
4. Rules-v2识别（图16）：单词层级的拒绝率（LSTM-CE达70%）远高于音节层级（LSTM-CE仅3%），验证层级建模的优势。

有没有问题或者可以借鉴的地方：

问题

1. LSTM-DOC训练缺陷：训练易发散（权重初始化后验证损失即达最低），识别精度极低（音节层级37.49%），未深入分析原因（如架构适配性或损失函数梯度问题）；
2. 未知源多样性不足：U仅含4种人工生成源，未涵盖真实场景中不同敏捷度、波形复杂度的未知雷达；
3. 层级覆盖不全：仅测试音节/单词层级，未验证命令、函数等更高层级的性能（作者提及这些层级识别精度低，但未说明是否可通过优化提升）。

可借鉴之处

1. 层级建模思路：将序列信号按“语义”分层（如脉冲→脉冲群→驻留），减少未知与已知源的特征重叠，为序列数据的开集识别提供新范式；
2. 已知未知数据生成：通过修改现有模型（如MC转移矩阵）生成“相似未知源”，有效解决U数据不可得的问题，可推广至其他序列识别任务；
3. 多维度评估：同时关注“区分精度”与“识别精度”，并通过“评估矩阵”（表VII、IX）量化不同配置的权衡关系，为实际应用提供明确的参数选择依据。

Conclusion

strong conclusions（明确且有数据支撑）

1. 基于分层辐射模型的开集识别方法可有效解决ELINT中的未知雷达辐射源检测问题，单词层级的建模能显著提升未知识别能力（拒绝精度比音节层级高15%-30%）；
2. MC与LSTM的适用场景边界清晰：MC在理想数据、短序列（需快速决策）场景下性能最优，LSTM在数据损坏、长序列场景下更鲁棒（精度下降率比MC低50%以上）；
3. 生成的已知未知数据（尤其是修改MC转移矩阵的变异源）能有效提升模型对“未知未知”的泛化能力，使U的平均拒绝率从20%提升至65%以上；
4. 阈值与训练场景的组合优化是平衡“区分精度”与“识别精度”的关键，如LSTM-CE在Case IV+δ=0.0时区分精度最优（71.14%），Case 0+δ=0.4时识别精度最优（84.88%）。

weak conclusions（模糊或需进一步验证）

1. 未明确LSTM-DOC性能差的根本原因，仅提及“训练难”，无法判断是损失函数不适配雷达序列，还是架构参数未优化；
2. 对“未知未知”的泛化能力评估局限于人工生成的U，未验证真实新型雷达数据的性能，无法确定方法在实际ELINT场景中的适用性；
3. 未对比其他开集识别方法（如基于Transformer的序列开集方法、生成式对抗网络的未知数据增强），无法确定本文方法的性能在领域内的定位；
4. 未讨论序列长度与识别延迟的权衡，长序列（如1400）虽提升精度，但可能超出ELINT的实时性需求，需进一步分析“精度-延迟”曲线。

Notes

1. UNK符号的关键作用：即使序列含20%已知符号，UNK序列的拒绝率仍≥90%（图17），说明word2vec的UNK编码能有效捕捉“完全未知”信号的特征，可作为ELINT中“高优先级未知信号”的快速检测指标；
2. 训练场景的影响：包含QoSalt和Rules-v1alt的Case IV在多数测试场景中表现最优（表V、VI），说明“与已知源相似的V数据”对提升模型的未知区分能力至关重要，后续可增加更多变异源类型以进一步提升泛化性；
3. LSTM-UG的定位：LSTM-UG仅区分已知/未知，虽无法识别具体已知类，但区分精度与其他LSTM变体接近（图6），可作为“两级分类架构”的前置模块（先过滤未知，再分类已知），降低后续分类器的计算成本；
4. 数据损坏的不对称影响：缺失符号对精度影响极小（因序列仍保持部分时序规律），额外符号影响极大（引入无关时序模式），后续可通过“符号滤波”预处理（如移除低频符号）降低额外符号的干扰。
5. 关于未知辐射源识别的定义：在本文中，未知雷达辐射源识别是电子情报（ELINT）领域的关键任务，其核心定义可从任务目标、识别对象分类、技术本质三方面结合文档内容明确：
   从任务目标来看，它旨在通过分析截获的雷达信号（以脉冲描述字PDW序列形式存在，含射频RF、脉冲宽度PW、脉冲重复间隔PRI等参数），判断信号是否来自“未知雷达辐射源”，并优先标记、记录这类未知信号以支持后续情报分析，弥补传统“闭集假设”下机器学习分类器仅能识别已知辐射源的局限性。
   从识别对象分类来看，需区分三类输入信号，这也是定义的核心边界：第一类是“已知类（K）”，即分类器需准确识别并输出具体类别索引的已知雷达辐射源；第二类是“已知未知类（V）”，指类型和结构已知、可通过生成训练数据（如纯未知符号UNK序列、修改转移矩阵的“变异”辐射源）纳入训练的未知源，分类器需将其标记为“未知”；第三类是“未知未知类（U）”，指训练阶段不可得、仅在测试/实际应用中出现的未知源（如新型未收录雷达），分类器同样需将其判定为“未知”。
   从技术本质来看，它属于“开集识别（open-set recognition）”任务，需突破传统分类任务的局限——不仅要实现已知类的准确分类（识别精度），更要实现“已知/未知”的有效区分（区分精度），且需在数据损坏（如信号含20%缺失或额外符号）等复杂场景下保持鲁棒性，核心是通过分层辐射模型（将雷达辐射类比为“字母-音节-单词”的语言结构）和适配序列数据的算法（如LSTM、马尔可夫链），建模雷达信号的时序规律以捕捉未知源的特征差异。

References

（按相关性排序，标注核心贡献）

1. [2] Apfeld S, Charlish A, Ascheid G. Identification of Radar Emitter Type with Recurrent Neural Networks[C]. SSPD, 2020.（作者前期的雷达源LSTM识别研究，为本研究的LSTM架构基础）
2. [13] Dhamija A R, Günther M, Boult T E. Reducing Network Agnostophobia[C]. NeurIPS, 2018.（提出EOS损失，为本研究LSTM-EOS的核心）
3. [11] Shu L, Xu H, Liu B. DOC: Deep Open Classification of Text Documents[C]. EMNLP, 2017.（提出DOC损失与sigmoid替代softmax，为本研究LSTM-DOC的基础）
4. [16] Apfeld S, Charlish A. The Value of Memory: Markov Chain versus Long Short-Term Memory for Electronic Intelligence[C]. IEEE Radar Conf, 2021.（作者前期的MC与LSTM对比研究，为本研究的双框架设计基础）
5. [26] Mikolov T, Chen K, Corrado G, et al. Efficient Estimation of Word Representations in Vector Space[C]. ICLR, 2013.（word2vec算法，为本研究的符号编码基础）
6. [10] Bendale A, Boult T E. Towards Open Set Deep Networks[C]. CVPR, 2016.（提出OpenMax，开集识别的经典方法，本文对比其在序列数据中的局限性）
7. [22] Kim L S, Bae H B, Kil R M, et al. Classification of the trained and untrained emitter types based on class probability output networks[J]. Neurocomputing, 2017.（类概率输出网络在辐射源分类的应用，为本研究MC的未知类概率估计提供参考）
8. [15] Apfeld S, Charlish A, Ascheid G. Modelling, Learning and Prediction of Complex Radar Emitter Behaviour[C]. ICMLA, 2019.（作者前期的分层辐射模型研究，为本研究的信号建模基础）