当前位置：首页 > news >正文

电力时序预测相关论文

news 2025/8/27 6:32:33

TIME-MOE

数据集 (Datasets)

论文中涉及的数据集分为两类：用于模型预训练的大规模数据集和用于模型评测的基准数据集。

预训练数据集：Time-300B

这是一个由论文作者构建并推出的，目前规模最大的开放获取时间序列数据集，专门用于基础模型的预训练。

规模：包含超过3090亿个时间点，由4800多万个独立的时间序列组成。
来源：数据覆盖超过9个领域，包括能源、金融、医疗、自然、销售、交通、网络以及合成数据等。
质量：所有原始数据都经过了一个专门的数据清洗流程，以处理缺失值和无效观测值，确保数据质量。
采样频率：涵盖从秒级到年级的多种时间频率。

Time-300B 各领域数据统计如下表所示：

领域 (Domain)	序列数 (# Seqs.)	观测点数 (# Obs.)	百分比 (Percent%)
能源 (Energy)	2,875,335	15.981 B	5.17%
金融 (Finance)	1,715	413.696 K	0.0001%
医疗 (Healthcare)	1,752	471.040 K	0.0001%
自然 (Nature)	31,621,183	279.724 B	90.50%
销售 (Sales)	110,210	26.382 M	0.008%
合成 (Synthetic)	11,968,625	9.222 B	2.98%
交通 (Transport)	622,414	2.130 B	0.69%
网络 (Web)	972,158	1.804 B	0.58%
其他 (Other)	40,265	20.32 M	0.006%
总计 (Total)	48,220,929	309.09 B	100%

2. 评测基准数据集 (Benchmark Datasets)

模型在多个公开的基准数据集上进行了性能评测，这些数据集未被包含在预训练数据中，以确保评测的公正性。

长时序预测 (Long-term Forecasting) ：
- ETT (Electricity Transformer Temperature)：包含 ETTh1, ETTh2, ETTm1, ETTm2 四个数据集，记录了电力变压器的油温等数据。
- Weather：包含21个气象指标，如气温、湿度等。
- Global Temp：全球温度数据集。
短时序预测 (Short-term Forecasting) ：
- TaxiBJ：包含了北京市的出租车GPS数据和气象信息。

评测指标 (Evaluation Metrics)

论文采用两个标准的回归任务评价指标来衡量模型预测的准确性。

均方误差 (Mean Square Error, MSE)
- 公式为： $MSE=1H∑i=1H(xi−x^i)2MSE = \frac{1}{H}\sum_{i=1}^{H}(x_{i}-\hat{x}_{i})^{2}$
- 该指标衡量的是预测值与真实值之差的平方的平均值。值越小，表示预测越准确。
平均绝对误差 (Mean Absolute Error, MAE)
- 公式为： $MAE=1H∑i=1H∣xi−x^i∣MAE = \frac{1}{H}\sum_{i=1}^{H}|x_{i}-\hat{x}_{i}|$
- 该指标衡量的是预测值与真实值之差的绝对值的平均值。值越小，表示预测越准确。

在上述公式中， $H$ 代表预测的未来时间步长（forecasting horizon）， $x_{i}$ 是第 $i$ 个未来时间点的真实值，而 $x^i\hat{x}_{i}$ 是模型对应的预测值。

ETT-Informer2020

数据集 (Datasets)

该论文在四个大规模数据集上进行了广泛的实验，其中包括两个作者收集的真实世界数据集和两个公开基准数据集。

ETT (Electricity Transformer Temperature): 这是作者收集并发布的数据集，记录了中国两个不同县城从2016年7月到2018年7月两年的电力变压器关键指标。
- 内容: 每个数据点包含目标值“油温”（oil temperature）以及6个电力负荷特征。
- 版本: 为了探索不同粒度下的预测问题，数据集被分为三个版本：
  - $ETTh_1$ : 1小时级别数据。
  - $ETTh_2$ : 1小时级别数据。
  - $ETTm_1$ : 15分钟级别数据。
ECL (Electricity Consuming Load): 这是一个公开数据集，记录了321个客户的用电量（Kwh）。
- 内容: 论文中将数据转换为2年内的每小时耗电量，并设定“MT_320”作为预测目标值。
Weather: 该数据集包含了从2010年到2013年近4年间，美国近1600个地点的当地气候数据。
- 内容: 数据点每小时收集一次，每个数据点包含目标值“湿球温度”（wet bulb）和11个其他气候特征。

评测指标 (Metrics)

论文使用了两种标准的评估指标来衡量模型的预测性能：

MSE (Mean Squared Error, 均方误差): 计算公式为 $MSE=1n∑i=1n(y−y^)2MSE=\frac{1}{n}\sum_{i=1}^{n}(y-\hat{y})^{2}$ 。
MAE (Mean Absolute Error, 平均绝对误差): 计算公式为 $MAE=1n∑i=1n∣y−y^∣MAE=\frac{1}{n}\sum_{i=1}^{n}|y-\hat{y}|$ 。

Baseline (对比模型)

论文选择了五种主流的时间序列预测方法，以及三种相关的Transformer变体作为对比的基准模型。

主流预测方法:
- ARIMA: 一种经典的统计学时间序列预测模型。
- Prophet: 由Facebook开发的一个现代时间序列预测工具。
- LSTMa: 基于注意力机制的LSTM模型。
- LSTnet: 一种结合了CNN和RNN，旨在捕捉长短期时间模式的模型。
- DeepAR: 一种基于自回归循环网络的概率预测方法。
相关的Transformer变体:
- Informer†: Informer模型的一个变体，使用标准的（canonical）自注意力机制，用于消融研究。
- Reformer: 一种为处理长序列而设计的、内存高效的Transformer模型。
- LogTrans (LogSparse self-attention): 一种使用对数稀疏注意力模式来提升效率的Transformer相关工作。

TS-RAG

数据集 (Datasets)

论文中使用的数据集主要分为两类：用于模型预训练和知识库构建的数据集，以及用于零样本（Zero-shot）性能评估的数据集。

预训练与知识库构建数据集:
- 来源: 模型（特指ARM模块）的预训练数据和检索知识库均来源于 Chronos预训练数据集 。
- 规模:
  - 从Chronos数据集中均匀采样了5000万个数据点，构成了包含 2600万个数据对 的预训练数据集。
  - 进一步从中采样了500万个数据点，构建了包含 280万个数据对 的多领域检索知识库。
零样本评估数据集:
- 模型在以下七个被广泛认可的公开基准数据集上进行了零样本预测评估：
  - ETT (Electricity Transformer Temperature) 数据集: 包含来自中国两个地点的电力变压器数据，根据采样频率分为四个子集：
    - ETTh1 (每小时采样) 。
    - ETTh2 (每小时采样) 。
    - ETTm1 (每15分钟采样) 。
    - ETTm2 (每15分钟采样) 。
  - Weather: 包含德国21个气象站一年的气象记录，每10分钟采样一次。
  - Electricity: 记录了321个客户的用电量，采样频率为1小时。
  - Exchange Rate: 包含从1990年到2016年八个国家（澳大利亚、英国、加拿大、瑞士、中国、日本、新西兰和新加坡）的每日汇率。

评测指标 (Evaluation Metrics)

论文主要使用以下两个指标来评估模型的零样本预测性能：

均方误差 (Mean Squared Error, MSE): $MSE=1H∑h=1H(Yh−Y^h)2MSE=\frac{1}{H}\sum_{h=1}^{H}(Y_{h}-\hat{Y}_{h})^{2}$ 。
平均绝对误差 (Mean Absolute Error, MAE): $MAE=1H∑h=1H∣Yh−Y^h∣MAE=\frac{1}{H}\sum_{h=1}^{H}|Y_{h}-\hat{Y}_{h}|$ 。

其中， $Y_{h}$ 是真实值， $Y^h\hat{Y}_{h}$ 是预测值，H是预测长度。

基线模型 (Baselines)

论文将TS-RAG与两类基线模型进行了比较：当前主流的时间序列基础模型（TSFMs）和另一个检索增强预测方法。

时间序列基础模型 (TSFMs):
- Chronos-Bolt: 这是TS-RAG使用的主要主干模型，因此也是最重要的基线，用于验证RAG框架带来的性能提升。
- Chronos: Chronos-Bolt的前身，一个基于T5架构的概率性时间序列模型。
- MOMENT: 采用掩码建模技术的零样本预测模型。
- TTM (Tiny Time Mixers): 基于轻量级TSMixer架构的紧凑型预训练模型。
- Moirai: 在大型数据集上预训练的Transformer编码器模型。
- TimesFM: 采用解码器风格（decoder-style）的注意力模型。
- Time-MoE: 采用稀疏混合专家（Mixture-of-Experts）架构的大型时间序列基础模型。
检索增强方法 (Retrieval-Augmented Method):
- RAF (Retrieval Augmented Forecasting): 一个近期的、同样用于零样本时间序列预测的检索增强方法。论文从效果和效率两个方面都与RAF进行了详细比较。

RAFT

实验设置 (Experimental Settings)

任务设定：实验在多元预测场景下进行，即模型的输入和预测目标都包含多个变量（通道）。
运行与复现：所有实验都运行三次并报告平均结果，以确保稳定性。实验在一块 NVIDIA A100 40GB GPU 上进行。
预测范围：
- 对于除Illness之外的所有数据集，实验评估了四个不同的预测时间范围（Forecasting Horizon, F）：96、192、336和720个时间步。
- 针对Illness数据集，遵循先前研究的设置，评估的预测范围为：24、36、48和60个时间步。
超参数调节：
- 为了公平比较，论文对自己的模型RAFT及所有基线模型都使用了验证集进行超参数调优。
- RAFT模型内部，周期设置为{1, 2, 4}，SoftMax的温度系数τ固定为0.1 。
- 通过网格搜索来确定的超参数包括：学习率（从1e-5到0.05）、回看窗口大小L（从{96, 192, 336, 720}中选择）以及检索的补丁数量m（从{1, 5, 10, 20}中选择）。

数据集与评测指标 (Datasets and Evaluation Metrics)

数据集 (Datasets)

论文总共使用了10个不同领域的公开基准数据集，这些数据集在变量数量、数据长度和采样频率上各具特色。

ETT 数据集：包含了电力变压器2年内的温度数据，分为四个子集：
- ETTh1 和 ETTh2：每小时记录一次。
- ETTm1 和 ETTm2：每15分钟记录一次。
Electricity：记录了约4年时间内，家庭用电量的消耗情况。
Exchange：包含了8个国家从1990年到2016年，长达27年的每日汇率数据。
Illness：记录了2002年至2021年，长达20年间每周患流感样疾病患者的比例。
Solar：包含了2006年从发电厂收集的每10分钟一次的太阳能发电预测数据。
Traffic：记录了高速公路上超过48个月的每小时道路占用率。
Weather：包含德国一年内21个与天气相关的指标。

评测指标 (Evaluation Metrics)

论文使用两个标准的回归任务评价指标来衡量所有模型的预测性能：

MSE (Mean Squared Error)：均方误差，衡量预测值与真实值之差平方的期望值。
MAE (Mean Absolute Error)：平均绝对误差，衡量预测值与真实值之差绝对值的期望值。

对比基线 (Baselines)

论文选择了9个当前具有代表性的时间序列预测模型作为对比的基线。

基于Transformer的模型 ：
1. Autoformer: 采用分解和自相关机制的Transformer模型。
2. Informer: 为解决Transformer在长序列预测中的效率问题而设计的模型。
3. Stationary: 探索时间序列中平稳性的Transformer变体。
4. Fedformer: 采用频率增强分解Transformer进行长序列预测。
5. PatchTST: 将时间序列视为补丁（patch）序列进行处理的Transformer模型。
基于线性(Linear)和MLP的模型：
6. DLinear: 一种架构简单的轻量级线性模型，性能强大。
7. TimeMixer: 利用分解和多周期性分析进行预测的MLP模型。
其他架构的模型：
8. MICN: 利用卷积结构同时建模局部特征和全局相关性的模型。
9. TimesNet: 利用傅里叶变换在模块化架构内对时间序列数据进行分解的模型。