当前位置: 首页 > news >正文

TSB - AD 解读 — 迈向可靠、透明的 TSAD 任务

目录

一  文章动机

二  TSAD 领域内的两类缺陷

三  数据集的构建

四  实验结果及结论


项目宣传链接:TSB-AD

代码链接: TheDatumOrg/TSB-AD: TSB-AD: Towards A Reliable Time-Series Anomaly Detection Benchmark

原作者解读:NeurIPS 2024 | 时序异常检测基准 TSB-AD - 知乎 

TSB - AD 与其他TSAD基准的全面对比:

一  文章动机

1. 长期以来,由于使用含缺陷的基准数据集、存在偏见的评估方法、不一致的基准实践,TSAD 领域面临诸多困扰;

2. Wu & Keogh 发起对 TSAD 数据集含缺陷的讨论:triviality, anomaly density, mislabeling, and
run-to-failure bias(异常标注琐碎、异常密度、标签错误、运行失败偏差);

3. UCR 数据集虽近期收到较多推崇,但仍存在重大缺陷:① 它忽视了某些时序异常区域;② 它通过 “人为引入” 时序异常;

4.  “everyone wants to do the model work instead of the data work”, resulting in limited new efforts to produce a large-scale, high-quality dataset.(典中典的问题)

5. 存在偏见的评估方法(尤其指:“点调整” 后的指标):随机分数、噪音输入、“嘈杂” 输入会造成“进步错觉”:(*此处补充 SimAD 的示意图进行说明,不属于原文内容)

6. “模型预处理” 及 “模型评测方式” 的不一致,也会造成不合理的 TSAD 模型质量评估;

7. 指标推荐:VUS - PR、VUS - ROC 等;

二  TSAD 领域内的两类缺陷

① 基准数据集的缺陷:

(a) 漏标、误标:数据集标注者被许可访问并接触 “额外的、未批露的数据”,因此 “不显著” 的时序异常标记是合理的;然而数据集内存在 “相似” 时序被赋予 “不同” 标签,则不合理;TSB - AD 对其进行修正;

(b) 偏差现象:Yahoo 数据集通常在数据末端标注异常,使结果不合理地倾向将末端数据点预测为异常的算法;UCR 数据集仅标注最显著的异常现象,忽略对潜在异常的标注,此外,单变量时序不符合真实世界场景;

(c) 可行性、实用性:为 “分类” 任务设计的数据集被不恰当用于 “异常检测”,仅仅简单地将少数类重新分类为 “异常”;然而,“少数类” 的占比超出了 “异常” 的占比,不切实际的异常比率违反 “异常不应频繁发生” 的基本原则,与异常检测器的设计原则相悖;

② 评估指标的缺陷:

(a) AUC - ROC 不适配针对 “不平衡分类任务” 的模型评估,AUC - PR 更优;

(b) 基于点的一系列评估指标,对 “靠前或滞后(lag)” 检测到异常的行为过分敏感,惩罚力度过大,不够合理;

(c) 点调整(PA)假设检测到异常段内的任何点都被视为检测到该段内的所有点。然而,该指标倾向于支持 “有噪声” 的预测,随机分数也有机会预测真实异常序列中的点,性能与SOTA相当。随机生成的预测在点调整下甚至优于SOTA方法;异常平均长度增加时,点调整后的F分数接近1。

三  数据集的构建

四  实验结果及结论

1. 各类模型在 "TSB - AD - U"(单变量)及 "TSB - AD - M"(多变量)数据集上的整体实验结果:

2. 对 各类“模型评测指标”  的评估实验:

3. 部分有价值的结论: 

1. 统计方法表现出稳健的性能,而神经网络方法并未表现出通常被认为的优势。然而,神经网络和基础模型在检测点异常以及处理多变量场景时仍展现了较大的潜力;
2. 简单的架构(如:CNN 和 LSTM)通常优于更复杂的设计(如:高级 Transformer 架构);
3. 基础模型在检测基于点的异常方面表现出色,但在处理序列异常时表现较弱,主要原因在于其预测机制仅基于有限的回溯窗口逐步估算新的值。当面对长序列异常时,受限的时间上下文往往导致性能下降和噪声较大的得分。此外,使用有缺陷的点调整技术(偏向这些噪声得分)进一步加剧了问题,导致进展的假象;
4. 时间序列基础模型的表现展现出极大潜力:它们在微调后不仅能取得良好表现,还在零样本能力上优于大多数现有的统计方法和神经网络方法。然而,基础模型的主要担忧是由于预训练数据规模庞大,可能导致数据污染,因此在实际部署时需谨慎;
5. 将大型语言模型(LLM)应用于时间序列异常检测的努力结果并不令人满意,表明该领域仍存在显著的研究空白;
6. 在表现最佳的方法中,Sub-PCA 和 KShapeAD 表现出色,尽管它们多年来一直被忽视为基本基线,且未在先前的广泛评估研究中被发现。CNN 和 OmniAnomaly 在多变量场景中的强劲表现 — 与之前的基准结果相反,当时 KMeansAD 被认为更优 — 表明多变量时间序列中的复杂场景需要更高的建模能力,通常超出统计方法的范围。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.dtcms.com/a/74398.html

相关文章:

  • Power Apps 技术分享:画布应用使用表单控件
  • 接入层、汇聚层 和 核心层
  • WebRTC 介绍
  • PyQt6内嵌http.server Web 和Flask Web服务器方法详解
  • 【java零碎知识点】------返回值类型的大小排序
  • Java概述
  • cesium 实现万级管网数据渲染,及pickImageryLayerFeatures原生方法改写
  • 模型蒸馏实战qwen2.5系列模型
  • Android Room 框架测试模块源码深度剖析(五)
  • 汇编基础知识
  • 压测实战 | 微信小程序商城 “双 11” 的压测实践
  • 开源文档管理系统 Paperless-ngx
  • Java学习------内部类
  • 4G模组Air780EPM:解锁物联网时代的硬件接口奥秘!
  • 【eNSP实战】(续)一个AC多个VAP的实现—将隧道转发改成直接转发
  • 有了大模型为何还需要Agent智能体
  • Mysql-经典实战案例(3): pt-archiver 实现 MySQL 千万级大表分库分表(上)
  • 设计模式之外观模式:原理、实现与应用
  • 设备物联网无线交互控制,ESP32无线联动方案,产品智能化响应
  • OpenCV计算摄影学(23)艺术化风格化处理函数stylization()
  • 【Android Studio】解决遇到的一些问题
  • Vue3项目中可以尝试封装那些组件
  • SpringSecurity——如何实现验证码登录页面
  • 内存回收异常导致OOM的问题
  • Android中的Wifi框架系列
  • JS中的变量提升
  • OpenCV 图像双线性插值
  • 地球46亿年历史的“微观褶皱”
  • 六十天前端强化训练之第二十二天之React 框架 15天深度学习总结(大师版)
  • 节点编辑器STNodeEditor快速入门,流程图编程