手机网站开发 视频教程福州外包seo公司
Transformer时间序列预测输出调整指南
预测任务类型
单步预测直接输出下一个时间步的值，输出维度等于预测变量数量。多步预测需要输出多个未来时间步的值，输出维度为预测步长乘以预测变量数。
单变量预测输出1维，多变量预测输出N维。根据任务类型组合形成四种预测模式：单步单变量、多步单变量、单步多变量、多步多变量。
基础结构修改
原始Transformer的Seq2Seq结构需要调整输出层：
- 将Softmax输出层改为线性层
- 输出维度匹配预测变量数量
- 移除离散化处理，保留连续值输出
# 输出层调整示例（PyTorch）
output_layer = nn.Linear(d_model, num_prediction_variables)
单步预测实现
单步预测可直接移除解码器结构，使用全连接网络作为解码器：
- 单变量：输出1维数值
- 多变量：输出N维向量
# 单步预测头示例
class SingleStepHead(nn.Module):def __init__(self, input_dim, output_dim):super().__init__()self.linear = nn.Linear(input_dim, output_dim)def forward(self, x):return self.linear(x[:, -1, :]) # 取最后时间步
多步预测实现
多步预测需保留解码器结构，注意两种实现方式：
自回归解码：
- 计算复杂度O(T)
- 严格保持因果性
- 逐步生成预测结果
# 自回归预测示例
for t in range(pred_steps):output = model(history)next_step = output[:, -1:, :]history = torch.cat([history, next_step], dim=1)
并行解码：
- 计算复杂度O(1)
- 需要完整掩码机制
- 一次性输出所有预测
# 并行解码掩码示例
mask = torch.tril(torch.ones(seq_len, seq_len))
attention = (Q @ K.transpose(-2, -1)) * mask
损失函数选择
回归任务推荐使用：
- 均方误差（MSE）
- 平均绝对误差（MAE）
- 对多步预测可时间加权
# 多步加权损失示例
weights = torch.linspace(1, 0.1, steps=pred_steps)
loss = (weights * (preds - targets)**2).mean()
关键设计建议
- 变量级掩码确保多变量预测时各变量独立处理
- 历史值填充技术提升训练稳定性
- 位置编码需适配时间序列特性
- 层归一化配置影响收敛速度