Mamba 原理汇总

1、概述

尽管Transformer取得了令人印象深刻的成就，但仍然面临着固有的局限性，尤其是由于注意力计算的二次方计算复杂度，这导致了耗时的推理过程。
24年，一种名为Mamba的新型架构，从经典的状态空间模型（SSM）中汲取灵感，作为构建基础模型的有前途的替代方案出现，它在保持与Transformer相当的建模能力的同时，对于序列长度具有近线性的可扩展性。这激发了越来越多的研究积极探Mamba在不同领域实现卓越性能的潜力。鉴于这种快速发展，迫切需要一个系统性的回顾，整合现有的Mamba赋能模型，为这种新兴的模型架构提供全面的理解。
Mamba 是一种基于结构化状态空间序列模型（SSMs）的新兴架构，旨在高效捕捉序列数据中的复杂依赖性，成为 Transformer 的强大竞争对手。受经典状态空间模型启发，Mamba 融合了循环神经网络（RNN）和卷积神经网络（CNN）的特点，通过递归或卷积操作实现计算成本与序列长度的线性或近线性扩展，显著降低计算复杂度。

具体而言，Mamba 的核心优势包括：
选择机制：引入简单而有效的选择机制，通过输入参数化 SSM 参数，过滤无关信息，保留必要数据。
硬件感知算法：采用递归扫描而非卷积计算，优化硬件性能，在 A100 GPU 上实现高达 3 倍的加速。
建模能力：在保持与 Transformer 相当的建模能力的同时，具备近线性的可扩展性，适用于复杂和长序列数据。

本文主要参照CryptoMamba中的manba结构
论文：https://arxiv.org/abs/2501.01010
CryptoMamba: Leveraging State Space Models for Accurate Bitcoin Price Prediction
发表时间：2025年（github.com/MShahabSepehri/CryptoMamba）

CryptoMamba博客详细见博客：

参考：
https://zhuanlan.zhihu.com/p/1917996436
https://zhuanlan.zhihu.com/p/680846351
https://zhuanlan.zhihu.com/p/26906183708

2、论文

Mamba模型的发展历程涉及多个关键论文，其研究脉络可追溯至状态空间模型（SSM）的优化与创新。以下是其核心发展阶段的代表性论文及贡献：

---

1. 理论基础：HiPPO与SSM的早期探索

• HiPPO（High-Order Polynomial Projection Operators）
由Albert Gu等人提出，旨在解决长序列建模中的“在线记忆”问题。HiPPO通过高阶多项式投影捕捉序列动态，为后续SSM提供了数学基础。
• 相关论文：
• “HiPPO: Recurrent Memory with Optimal Polynomial Projections”（NeurIPS 2020）。

---

2. S4（Structured State Space Models）的提出

• S4模型
在HiPPO基础上，结合结构化状态空间矩阵（如HiPPO-LegS矩阵），解决了传统SSM训练中的数值稳定性问题，同时通过卷积化实现高效并行计算。
• 关键改进：
• 引入NPLR（Normal Plus Low-Rank）矩阵分解，优化计算复杂度。
• 相关论文：
• “Combining Recurrent, Convolutional, and Continuous-time Models with Structured State Space Sequences”（ICLR 2022）。

---

3. S4的优化与变体：S4D与DSS

• S4D（Diagonal State Spaces）
通过参数化对角矩阵简化计算，结合特定初始化策略（如Legendre多项式），提升模型性能。
• DSS（Diagonal State Spaces）
进一步验证对角化矩阵的有效性，降低计算成本并保持长程依赖建模能力。
• 相关论文：
• “Diagonal State Spaces are as Effective as Structured State Spaces”（NeurIPS 2022）。

---

4. Mamba模型的诞生

• Mamba原始论文
提出选择性状态空间机制，根据输入动态调整参数（Δ、B、C），并设计硬件感知的扫描算法（Scan）替代卷积，实现线性复杂度与高效推理。
• 核心贡献：
• 选择性机制增强上下文感知能力；
• 硬件优化使GPU计算速度提升3倍。
• 相关论文：
• “Mamba: Linear-Time Sequence Modeling with Selective State Spaces”（arXiv 2023，获COLM 2024优秀论文奖）。

---

5. Mamba-2与理论扩展

• Mamba-2
提出结构化状态空间对偶性（SSD），建立SSM与注意力机制的理论联系，并优化算法效率（如块状并行扫描）。
• 相关论文：
• “Mamba-2: Structured State Space Duality”（arXiv 2024）。

---

6. 综述与总结性文献

• Albert Gu的博士论文
系统梳理了SSM到Mamba的发展路径，涵盖模型理论、计算优化及应用场景。
• 相关文献：
• “Efficiently Modeling Long Sequences with Structured State Spaces”（Stanford University Dissertation, 2023）。

---

应用与扩展研究

Mamba的后续研究聚焦于跨领域适配，例如：
• 视觉任务：Vision Mamba（CVPR 2024）
• 医学图像：U-Mamba（MICCAI 2024）
• 三维分割：SegMamba（arXiv 2024）。

---

总结

Mamba的发展历程体现了从理论奠基（HiPPO）到工程优化（S4、Mamba）的迭代，其核心突破在于选择性机制与硬件感知算法的结合，为长序列建模提供了Transformer之外的高效解决方案。未来方向可能包括多模态适配、动态扫描机制优化等。

3、SSMs状态空间模型

3.1SSMs原理

状态空间模型（State Space Models, SSM）
状态空间模型（SSM）原理详解与实例说明：
SSM 是一种将系统动态分解为 隐藏状态（不可观测的核心动态） 和 观测变量（可观测的输出），隐状态 $x(t)$ 和输出 $y(t)$ 。

• 1）通过隐藏状态聚合历史信息，实现对长期依赖，状态转移矩阵，控制隐状态的演化
• 2）由隐藏状态 如何生成可观测的输出， 输出矩阵，将隐状态映射到观测值。

一、SSM 的基本原理

状态空间模型（State Space Models, SSM）是一种结合了控制理论和深度学习的序列建模方法，通过隐状态（Hidden State）传递信息，动态描述输入序列到输出序列的映射关系。其核心思想是将时间序列数据分解为潜在状态和观测变量两部分，通过状态方程和观测方程建模动态系统。

---

二、SSM 的数学表达

1. 连续时间系统

SSM 最初由连续时间系统定义，通过微分方程描述输入 $u(t)$、隐状态 $x(t)$ 和输出 $y(t)$ 的关系：
$$\{\begin{array}{ll}\dot{x}(t)=Ax(t)+Bu(t)& \text{（状态方程）}\\ y(t)=Cx(t)+Du(t)& \text{（观测方程）}\end{array}$$
• $A\in {\mathbb{R}}^{N\times N}$: 状态转移矩阵，控制隐状态的演化。
• $B\in {\mathbb{R}}^{N\times 1}$: 输入矩阵，决定输入如何影响隐状态。
• $C\in {\mathbb{R}}^{1\times N}$: 输出矩阵，将隐状态映射到观测值。
• $D\in \mathbb{R}$: 直接传递矩阵（通常可忽略）。

2. 离散化处理

实际应用中，需将连续方程离散化为时间步 $k$ 的形式：
$$\{\begin{array}{l}{x}_k=\bar{A}{x}_{k-1}+\bar{B}{u}_k\\ y_k=C{x}_k+D{u}_k\end{array}$$
其中，$\bar{A}$ 和 $\bar{B}$ 通过**零阶保持（ZOH）**方法离散化：
$$\bar{A}=e^{A\Delta },\bar{B}=(e^{A\Delta }-I)A^{-1}B$$
• $\Delta$: 时间步长（如天、小时）。
• $e^{A\Delta }$: 矩阵指数，表示状态转移的动态。

---

二、SSM 的数学表达（解释二）

SSM 是一种将系统动态分解为 隐藏状态（不可观测的核心动态） 和 观测变量（可观测的输出） 的数学框架，核心由两组方程构成：

1. 状态转移方程（State Transition Equation）

描述 隐藏状态 如何随时间更新，捕获系统的内部动态：
$$x_k=A{x}_{k-1}+B{u}_k$$

• $x_k$：第 $k$ 步的隐藏状态（如“趋势强度”“波动率”等抽象特征）；
• $u_k$：第 $k$ 步的输入（如历史数据、外部变量）；
• $A$：状态转移矩阵（刻画历史隐藏状态对当前的影响）；
• $B$：输入矩阵（刻画当前输入对隐藏状态的影响）。

2. 观测方程（Observation Equation）

描述 隐藏状态 如何生成可观测的输出，包含噪声和直接输入影响：
$$y_k=C{x}_k+D{u}_k+{ϵ}_k$$

• $y_k$：第 $k$ 步的观测值（如价格、温度）；
• $C$：观测矩阵（将隐藏状态映射到输出）；
• $D$：直接输入系数（输入对输出的直接影响）；
• ${ϵ}_k$：观测噪声（模拟不可预测的随机波动）。

核心思想：通过隐藏状态聚合历史信息，实现对长期依赖的建模，同时通过观测方程拟合噪声和输入的直接效应。

三、SSM 的核心优势

1. 长序列建模：隐状态 $x$ 可携带长期记忆，避免 RNN 的梯度消失问题。
2. 并行计算：通过卷积或并行扫描（如 Mamba）高效处理序列。
3. 灵活性：可结合非线性激活函数或扩展为深度网络。

---

四、传统 SSM vs. Mamba 的改进

传统 SSM（如 S4 模型）是线性时不变（LTI）系统，参数 $A,B,C$ 固定。Mamba 在此基础上引入：

1. 输入依赖的动态：$A,B,C$ 随输入 $u_k$ 变化，形成时变系统，增强对关键信息的敏感度。
2. 选择性机制：动态调整隐状态更新，聚焦重要时间点（如价格突变）。
3. 硬件优化：通过并行扫描算法，计算复杂度从 $O(N^2)$ 降至 $O(N)$。

---

五、实例：比特币价格预测中的 SSM 应用

1. 输入与输出

• 输入序列 $u_1,u_2,\dots ,u_{14}$：过去 14 天的比特币特征（开盘价、最高价、成交量等）。
• 输出 $y_{15}$：预测第 15 天的收盘价。

2. 隐状态演化

假设隐状态维度 $N=3$，表示短期趋势、长期趋势、市场情绪：
• 初始状态 $x_0=[0,0,0{]}^T$。
• 第 1 天：输入 $u_1$（如开盘价 $50,000），更新隐状态：
$$x_1=\bar{A}{x}_0+\bar{B}{u}_1=\bar{B}\cdot 50000$$
• 第 2 天：输入$u_2$，隐状态融合新旧信息：
$$x_2=\bar{A}{x}_1+\bar{B}{u}_2$$
• 依此类推，隐状态$x_{14}$积累了过去 14 天的综合信息。

3. 预测输出 第 15 天的预测值为：

$$y_{15}=C{x}_{14}+D{u}_{15}$$
若忽略$D$，则简化为$y_{15}=C{x}_{14}$。

4. Mamba 的动态调整

• 当某天出现异常成交量（如 $u_k$ 激增），Mamba 动态调整 $B_k$，放大该输入对隐状态的影响。
• 若价格波动剧烈（如 $u_k$ 变化大），选择性机制抑制噪声，聚焦关键时间点。

---

六、对比传统模型（如LSTM）

特性	SSM（Mamba）	LSTM
长序列处理	隐状态线性传递，无梯度消失	依赖门控机制，长距离依赖可能衰减
计算效率	并行扫描，( O(N) )	串行处理，( O(N) )
动态适应性	输入依赖参数，捕捉突变	固定参数，依赖历史信息
可解释性	状态矩阵可分析（如 ( A ) 的特征值）	黑盒模型，解释性差

---

七、数学示例：简化 SSM 计算

假设离散化参数：
$$A=\left[\begin{array}{cc}0.9& 0\\ 0& 0.8\end{array}\right],B=\left[\begin{array}{c}0.1\\ 0.2\end{array}\right],C=\left[\begin{array}{cc}1& 1\end{array}\right],\Delta =1$$
输入序列 $u=[50000,51000,48000]$，初始状态 $x_0=[0;0]$。

计算步骤：

1. 第 1 天：
   $$x_1=A{x}_0+B{u}_1=[0.1\cdot 50000;0.2\cdot 50000]=[5000;10000]$$
   $y_1=C{x}_1=5000+10000=15000$（假设需后续调整）。

2. 第 2 天：
   $$x_2=A{x}_1+B{u}_2=[0.9\cdot 5000+0.1\cdot 51000;0.8\cdot 10000+0.2\cdot 51000]=[9600;18200]$$
   $y_2=9600+18200=27800$。

3. 第 3 天：
   $$x_3=A{x}_2+B{u}_3=[0.9\cdot 9600+0.1\cdot 48000;0.8\cdot 18200+0.2\cdot 48000]=[13440;24160]$$
   $y_3=13440+24160=37600$。

此简化示例展示了隐状态如何逐步融合历史信息，输出逐步调整以逼近真实价格。

八、总结

SSM 通过隐状态传递和动态方程，有效建模时间序列的长期依赖。Mamba 的改进使其在比特币价格预测中表现出色：
• 选择性机制：聚焦关键时间点（如成交量激增）。
• 高效计算：线性复杂度适应高频金融数据。
• 可解释性：状态矩阵分析可揭示市场动态（如趋势衰减率 $A$ 的对角元素）。

通过结合交易量数据与分层处理（C-Blocks），CryptoMamba 实现了对复杂市场行为的精准捕捉，验证了 SSM 在金融预测中的巨大潜力。

SSM 的扩展

• Mamba 模型：
  • Mamba 是一种新型的 SSM 变体，通过引入选择性机制（selective mechanism）和动态隐藏状态，进一步提升了 SSM 在序列建模中的能力。
  • Mamba 的核心思想是使状态转移矩阵 $A$、输入矩阵 $B$ 和观测矩阵 $C$ 依赖于输入数据，从而适应动态变化的序列特性。

3.2零阶保持（Zero-Order Hold, ZOH）

一、核心原理：从连续信号到离散信号的桥梁

零阶保持（ZOH） 是一种将连续时间信号转换为离散时间信号的方法，其核心思想是：在两个采样点之间，保持信号值不变（即“零阶”意味着保持常数，不引入高阶插值）。具体步骤如下：

1. 连续信号采样：
   对连续输入信号 $u(t)$ 按固定时间步长 $\Delta$ 采样，得到离散信号 $u_k=u(k\Delta )$（$k=0,1,2,...$）。

2. 区间内保持常数：
   在时间区间 $[k\Delta ,(k+1)\Delta )$ 内，假设输入信号保持为最近的采样值 $u_k$，即：
   $$u(t)=u_k\text{当 }t\in [k\Delta ,(k+1)\Delta )$$
   这相当于用阶梯状信号近似原始连续信号（如图 1 所示）。

图 1：连续信号（蓝色）与零阶保持后的离散信号（红色阶梯）

二、数学推导：状态空间模型的离散化

在状态空间模型（SSM）中，零阶保持用于将连续时间系统 $\dot{x}=Ax+Bu(t)$ 转换为离散时间系统 $x_{k+1}=\bar{A}{x}_k+\bar{B}{u}_k$，具体推导如下：

1. 连续状态转移方程积分：
   对 $\dot{x}=Ax+Bu(t)$ 在区间 $[k\Delta ,(k+1)\Delta ]$ 内积分，利用零阶保持假设 $u(t)=u_k$：
   $$x((k+1)\Delta )=e^{A\Delta }x(k\Delta )+{\int }_{k\Delta }^{(k+1)\Delta }{e}^{A((k+1)\Delta -\tau )}B{u}_{k}d\tau$$
   令 ${\tau }^{\prime }=\tau -k\Delta$，积分区间变为 $[0,\Delta ]$，得：
   $$x_{k+1}=e^{A\Delta }{x}_k+\left({\int }_0^{\Delta }{e}^{A{\tau }^{\prime }}d{\tau }^{\prime }\right)B{u}_k$$

2. 离散化矩阵定义：

   • 状态转移矩阵：$\bar{A}=e^{A\Delta }$（描述无输入时的状态延续）；
   • 输入矩阵：$\bar{B}=\left({\int }_0^{\Delta }{e}^{A\tau }d\tau \right)B$（描述输入对状态的累积影响）。

3. 简化计算：
   当 $A$ 可逆时，${\int }_0^{\Delta }{e}^{A\tau }d\tau =A^{-1}(e^{A\Delta }-I)$，因此：
   $$\bar{B}=A^{-1}(e^{A\Delta }-I)B$$

三、实例说明：温度控制系统中的 ZOH 应用

假设一个房间的温度控制系统，连续时间模型为：

• 状态 $x(t)$：实际温度（隐藏状态）；
• 输入 $u(t)$：空调加热功率（连续信号）；
• 输出 $y(t)$：传感器测量温度（含噪声）。

1. 连续时间模型

$$\dot{x}(t)=-0.1x(t)+0.5u(t)\text{（状态转移方程，温度自然衰减 + 加热影响）}$$

$$y(t)=x(t)+0.1u(t)\text{（观测方程，温度直接测量 + 加热的即时影响）}$$

2. 零阶保持离散化（$\Delta =1$ 小时）

• 计算 $\bar{A}$：
  KaTeX parse error: Unexpected end of input in a macro argument, expected '}' at end of input: …小时自然衰减 9.52%）}
• 计算 $\bar{B}$：
  $$\bar{B}=\frac{e^{-0.1\times 1}-1}{-0.1}\times 0.5\approx \frac{0.9048-1}{-0.1}\times 0.5=0.476\text{（加热功率的累积影响）}$$
• 离散时间模型：
  $$x_{k+1}=0.9048x_k+0.476u_k$$
  （下一小时温度 = 前一小时温度的 90.48% + 加热功率的 0.476 倍）

3. 实际应用场景

• 若第 $k$ 小时加热功率 $u_k=10$ 千瓦：
  • 连续模型：1 小时内加热功率逐渐生效；
  • 零阶保持模型：假设整小时内功率保持 10 千瓦，计算得 $x_{k+1}=0.9048x_k+4.76$，即温度提升 4.76 度（假设初始温度 $x_k=20$ 度，则 $x_{k+1}=24.76$ 度）。

四、在金融时间序列中的应用：比特币价格离散化

以 CryptoMamba 模型为例，处理日度比特币价格数据（$\Delta =1$ 天）：

1. 连续时间假设：
   假设市场“趋势状态” $x(t)$ 连续变化，受每日价格波动 $u(t)$ 影响。

2. 零阶保持处理：

   • 每日收盘价、成交量等数据为离散采样点；
   • 在当天 24 小时内，假设市场状态受该日数据的“恒定影响”（即零阶保持），推导离散化矩阵 $\bar{A},\bar{B}$。

3. 模型影响：

   • $\bar{A}$ 捕捉趋势的日度延续性（如牛市趋势每天保留 95%）；
   • $\bar{B}$ 捕捉当日成交量对趋势的累积影响（高成交量时 $\bar{B}$ 增大，加速趋势变化）。

五、零阶保持的优缺点

优点	缺点	适用场景
简单易实现，计算高效	引入阶梯近似误差，可能忽略高频变化	低频信号（如日度金融数据、工业传感器）
保持信号能量不衰减	无法处理快速变化信号（如高频交易数据）	控制系统、传统时间序列建模
适配离散时间系统设计	需要足够高的采样率以减少近似误差	状态空间模型离散化（如 CryptoMamba）

六、总结：零阶保持的核心作用

零阶保持是连接连续时间理论（如控制理论）与离散时间应用（如机器学习、计算机控制）的关键桥梁，其核心价值在于：

1. 信号离散化：将现实中的连续信号（如温度、价格）转换为计算机可处理的离散信号；
2. 模型适配：使状态空间模型（SSM）能够处理离散时间序列（如比特币日度数据），通过推导 $\bar{A},\bar{B}$ 实现从连续动态到离散动态的转换；
3. 工程实用性：在保证计算效率的同时，为离散时间系统（如 CryptoMamba）提供了理论支撑，使其能够有效建模长期依赖和复杂动态。

通过零阶保持，连续时间系统的数学严谨性与离散时间应用的工程可行性得以结合，成为现代控制系统和时间序列模型的重要基础。

4、Mamba 原理

2.1Mamba 原理

1. 状态空间模型（SSM）基础

状态空间模型通过潜在状态描述系统动态，常用于控制理论和时间序列分析。其核心包含两个方程：
• 状态方程：描述潜在状态随时间的变化。
• 观测方程：将潜在状态映射到观测输出。

连续时间形式：
$$\begin{array}{rl}\dot{x}(t)& =Ax(t)+Bu(t)\\ y(t)& =Cx(t)+Du(t)\end{array}$$
其中：
• $u(t)$: 输入信号（如时间序列数据）。
• $x(t)$: 潜在状态。
• $y(t)$: 输出信号。
• $A,B,C,D$: 系统参数矩阵。

离散化：
通过零阶保持（ZOH）方法，将连续方程转换为离散形式：
$$\begin{array}{rl}{x}_k& =\bar{A}{x}_{k-1}+\bar{B}{u}_k\\ y_k& =C{x}_k+D{u}_k\end{array}$$
其中：
• $\bar{A}=e^{A\Delta }$, $\bar{B}=(A^{-1}(e^{A\Delta }-I))B$（$\Delta$ 为时间步长）。
• 传统 SSM 的 $A,B$ 是固定的，导致线性时不变（LTI）系统。

---

1. 传统 SSM 的局限：线性时不变（LTI）

• 固定参数：状态转移矩阵 $A$、输入矩阵 $B$、观测矩阵 $C$ 是固定值，不随输入 $u_k$ 变化（如：无论市场波动多大，模型对输入的处理方式始终一致）。
• 线性假设：仅能建模线性动态，无法适应非线性场景（如金融市场的供需失衡导致的价格突变）。

2. Mamba 的核心创新：输入依赖的时变参数

• 动态参数化：使 $B,C,\Delta$（时间步长）依赖当前输入 $u_k$，形成时变系统：
  $$x_k=A{x}_{k-1}+B(u_k)u_k,y_k=C(u_k)x_k+D{u}_k$$
• $B(u_k)$：根据输入动态调整输入对隐藏状态的影响（如高交易量时增强当前输入的权重）；
• $C(u_k)$：根据输入动态调整隐藏状态到输出的映射（如市场趋势反转时弱化历史趋势的影响）。
• 选择性关注：通过动态参数，模型可“选择性”关注输入中的关键信息，过滤噪声（类似注意力机制，但计算效率更高）。

3. 硬件感知算法：线性复杂度的高效计算

• 计算效率：传统 Transformer 的时间复杂度为 $O(L^2)$（$L$ 为序列长度），而 Mamba 通过优化算法保持 线性复杂度 $O(L)$，且支持并行计算：
  • Parallel Scan：将序列扫描操作并行化，适配 GPU 等硬件的内存层次结构，计算速度比传统 SSM 快 3 倍以上（如处理 10 万长度序列时，耗时仅为 Transformer 的 1/10）。

2. Mamba的核心创新

Mamba在传统SSM基础上引入选择性机制和硬件感知优化，解决了长序列建模的效率与动态适应问题。

2.1 选择性状态空间

• 输入依赖的动态参数：
Mamba的$B,C,\Delta$由输入$u_k$动态生成，而非固定。这使得模型能根据当前输入调整状态转移和输出映射，适应数据中的突变（如比特币价格暴涨暴跌）。
$$x_k=A{x}_{k-1}+B(u_k)u_k,$$
$$y_k=C(u_k)x_k+D{u}_k$$
• 参数生成方式：
通过线性投影层将输入$u_k$映射为$B_k,C_k,{\Delta }_k$：
$$[B_k,C_k,{\Delta }_k]=\text{Linear}(u_k)$$
其中${\Delta }_k$控制离散化步长，影响状态更新的快慢。

示例：
假设当前比特币价格为$ 60,000，交易量激增，Mamba通过输入生成较大的${\Delta }_k$，加快状态更新速度，快速响应市场变化。

2.2 硬件感知算法

• 并行扫描（Parallel Scan）：
将递归计算（如$x_k=\bar{A}{x}_{k-1}+\bar{B}{u}_k$）转换为并行形式，利用GPU加速训练。

• 选择性机制优化：
仅对重要时间步进行细粒度计算，减少冗余操作。例如，在平稳价格区间简化计算，而在波动剧烈时保留细节。

3. Mamba 的工作流程（以比特币预测为例）

假设输入为过去 14 天的比特币数据（开盘价、最高价、最低价、收盘价、交易量），预测第 15 天收盘价。

3.1 输入处理

• 输入序列：$u=[u_1,u_2,\dots ,u_{14}]$，每个 $u_k$ 包含 5 维特征。
• 嵌入层：将原始特征映射到高维空间（如 128 维）。

3.2 选择性 SSM 计算

1. 生成动态参数：
   对每个时间步 $k$，通过线性层生成 $B_k,C_k,{\Delta }_k$：
   $$B_k,C_k=W_B{u}_k+b_B,{\Delta }_k=\text{Softplus}(W_{\Delta }{u}_k+b_{\Delta })$$
   （Softplus 确保 ${\Delta }_k>0$）

2. 离散化：
   计算 ${\bar{A}}_k=e^{{\Delta }_{k}A}$，${\bar{B}}_k=({\Delta }_{k}A{)}^{-1}(e^{{\Delta }_{k}A}-I){\Delta }_k{B}_k$。
   • 若 ${\Delta }_k$ 较大，${\bar{A}}_k$ 趋近于 0，状态快速衰减，更关注近期输入。
   • 若 ${\Delta }_k$ 较小，保留更多历史信息。

3. 状态更新：
   递归计算潜在状态 $x_k$：
   $$x_k={\bar{A}}_k{x}_{k-1}+{\bar{B}}_k{u}_k$$
   输出 $y_k=C_k{x}_k+D{u}_k$。

3.3 输出预测

• 最终状态 $x_{14}$ 包含 14 天的历史信息，通过 MLP 层映射为预测价格 ${\hat{y}}_{15}$。

---

4. 与传统 SSM 及 Transformer 的对比

特性	传统 SSM	Mamba	Transformer
动态参数	固定 $A,B,C$	输入依赖的 $B,C,\Delta$	自注意力权重动态生成
长序列处理	线性复杂度，但无法适应突变	线性复杂度 + 选择性聚焦	平方复杂度（序列长度²）
硬件优化	无特殊优化	并行扫描 + 内核融合	需要稀疏注意力或分块优化
适用场景	平稳时间序列（如传感器数据）	非平稳序列（如金融、语言）	短文本、小规模时序

实例对比：
预测比特币价格时，传统 SSM 可能忽略突然的监管新闻影响，而 Mamba 通过动态 ${\Delta }_k$ 检测到异常交易量，调整状态更新速度，更准确捕捉价格拐点。

---

5. 关键公式与参数

• 选择性 SSM 离散化：
$${\bar{A}}_k=e^{{\Delta }_{k}A},{\bar{B}}_k=({\Delta }_{k}A{)}^{-1}(e^{{\Delta }_{k}A}-I){\Delta }_k{B}_k$$
• 参数化：
• $A\in {\mathbb{R}}^{N\times N}$ 通常初始化为对数矩阵（确保稳定性）。
• $B,C\in {\mathbb{R}}^{N\times d}$ 由输入投影得到。
• 计算复杂度：
• 传统 SSM：$O(L{N}^2)$（$L$ 为序列长度，$N$ 为状态维度）。
• Mamba：$O(LN)$（通过并行扫描和核优化）。

---

6. 总结

Mamba 通过输入依赖的动态参数和硬件感知算法，在保持线性复杂度的同时，实现了对长序列中关键信息的自适应聚焦。在比特币预测中，这种机制使其能快速响应市场突变（如交易量激增、政策变化），同时避免 Transformer 的平方计算开销。CryptoMamba 的 C-Blocks 层级结构进一步增强了多尺度特征提取能力，使其在金融时序预测中达到 SOTA 性能。

2.2Mamba 动态参数计算

一、Mamba 动态参数的核心机制：参数生成器（Parameter Generator）

Mamba 通过参数生成器根据当前输入 $u_k$ 动态计算时变参数（如 $B(u_k)$、$C(u_k)$、时间步长 $\Delta (u_k)$），使系统能够自适应输入内容。参数生成过程通常包含以下步骤：

二、参数计算的数学框架

假设输入 $u_k\in {\mathbb{R}}^D$（D 为输入特征维度，如比特币的 5 个特征：开、高、低、收、成交量），隐藏状态维度为 $N$，则：

1. 输入依赖的 $B(u_k)$ 矩阵生成

• 目标：计算输入矩阵 $B(u_k)\in {\mathbb{R}}^{N\times D}$，描述输入对隐藏状态的影响。
• 生成方法：通过一个小型神经网络（如线性层 + 激活函数）将输入映射到 $B$ 的参数：
  $$B(u_k)=\sigma (W_B\cdot u_k+b_B)\text{或}B(u_k)=\text{Linear}(u_k)$$
• $W_B\in {\mathbb{R}}^{N\times D}$：可学习的权重矩阵；
  • $\sigma$：激活函数（如 ReLU、Sigmoid，用于引入非线性）。

2. 输入依赖的 $C(u_k)$ 矩阵生成

• 目标：计算观测矩阵 $C(u_k)\in {\mathbb{R}}^{1\times N}$，描述隐藏状态对输出的映射。
• 生成方法：类似 $B(u_k)$，通过线性变换或神经网络：
  $$C(u_k)=\text{Linear}(u_k)=W_C\cdot u_k+b_C$$
• $W_C\in {\mathbb{R}}^{1\times D}$：权重向量，将输入转换为观测矩阵的行向量。

3. 时间步长 $\Delta (u_k)$ 动态调整

• 目标：根据输入动态调整离散化时间步长（仅在连续时间模型离散化时使用），例如：
  $$\Delta (u_k)=\text{Softmax}(W_{\Delta }\cdot u_k)\text{或固定为常数（简化场景）}$$

例如：

1. 生成动态参数：
   对每个时间步 $k$，通过线性层生成 $B_k,C_k,{\Delta }_k$：
   $$B_k,C_k=W_B{u}_k+b_B,{\Delta }_k=\text{Softplus}(W_{\Delta }{u}_k+b_{\Delta })$$
   （Softplus 确保 ${\Delta }_k>0$）

2. 离散化：
   计算 ${\bar{A}}_k=e^{{\Delta }_{k}A}$，${\bar{B}}_k=({\Delta }_{k}A{)}^{-1}(e^{{\Delta }_{k}A}-I){\Delta }_k{B}_k$。
   • 若 ${\Delta }_k$ 较大，${\bar{A}}_k$ 趋近于 0，状态快速衰减，更关注近期输入。
   • 若 ${\Delta }_k$ 较小，保留更多历史信息。

三、实例说明：比特币价格预测中的参数计算

假设输入 $u_k$ 是第 $k$ 天的 5 维特征向量：$u_k=[\text{open},\text{high},\text{low},\text{close},\text{volume}]\in {\mathbb{R}}^5$，隐藏状态维度 $N=64$（即 CryptoMamba 中的 d_state=64）。

1. 计算 $B(u_k)$：输入对隐藏状态的影响矩阵

• 步骤 1：线性变换
  $$h_B=W_B\cdot u_k+b_B(W_B\in {\mathbb{R}}^{64\times 5},b_B\in {\mathbb{R}}^{64})$$
• 步骤 2：激活函数（如 Sigmoid，将值缩放到 (0,1)）
  $$B(u_k)=\sigma (h_B)\Rightarrow B(u_k)\in {\mathbb{R}}^{64\times 5}$$
• 实例：高交易量场景
  当 $u_k$ 中的成交量（volume）显著增加时，$h_B$ 对应维度的激活值升高，$B(u_k)$ 中相应行的权重增大，使成交量对隐藏状态的更新贡献增强。

2. 计算 $C(u_k)$：隐藏状态到输出的映射

• 步骤 1：线性变换
  $$C(u_k)=W_C\cdot u_k+b_C(W_C\in {\mathbb{R}}^{1\times 5},b_C\in \mathbb{R})$$
• 实例：价格剧烈波动场景
  当当天价格波动（high - low）较大时，$W_C$ 中对应“波动特征”的权重会增大，使隐藏状态中的“波动信息”对输出（次日收盘价）的影响更显著。

3. 状态转移与观测方程

• 状态转移：
  $$x_k=A\cdot x_{k-1}+B(u_k)\cdot u_k(A\in {\mathbb{R}}^{64\times 64}\text{为固定矩阵，捕获长期趋势惯性})$$
• 观测方程：
  $$y_k=C(u_k)\cdot x_k+D\cdot u_k(D\text{为固定标量，捕获输入对输出的直接影响，如成交量对价格的即时推动})$$

四、动态参数如何影响模型行为？

以比特币价格预测中的“暴跌日”为例（假设 $u_k$ 包含价格暴跌 10%+ 成交量激增 200%）：

1. $B(u_k)$ 的变化：
   • 成交量对应的列权重从 0.2 升至 0.8（因高交易量被识别为关键信号），使 $B(u_k)\cdot u_k$ 中成交量的贡献显著增大，隐藏状态 $x_k$ 快速吸收“暴跌 + 高换手”的风险信号。
2. $C(u_k)$ 的变化：
   • 价格波动对应的权重从 0.3 升至 0.9，使隐藏状态中的“风险信号”在观测方程中被放大，最终预测结果更贴近暴跌后的趋势延续或反弹可能。

五、计算效率：为何动态参数不增加线性复杂度？

• 参数生成复杂度：每个时间步生成 $B(u_k)$ 和 $C(u_k)$ 的计算量为 $O(N\times D)$（仅与隐藏维度 $N$ 和输入维度 $D$ 相关），与序列长度 $L$ 无关。
• 整体复杂度：状态转移的计算为 $O(N^2)$（矩阵乘法），每个时间步总复杂度为 $O(N^2+N\times D)$，最终总复杂度为 $O(L\times (N^2+N\times D))$，仍为线性于序列长度 $L$（对比 Transformer 的 $O(L^2)$）。

六、关键技术细节总结

组件	功能	数学实现	实例中的作用
参数生成器	根据输入动态生成 $B(u_k),C(u_k)$	线性层/神经网络映射	高交易量时增强输入对隐藏状态的影响
固定矩阵 $A$	捕获隐藏状态的长期惯性	可学习的常数矩阵	使隐藏状态保留 80% 的历史趋势（如 $A=0.8I$）
激活函数	引入非线性（可选）	Sigmoid/ReLU	将参数值限制在有效区间（如 (0,1)）
直接输入项 $D$	输入对输出的直接影响	固定标量/可学习参数	成交量直接推动价格（如 $D=0.001$）

七、总结：动态参数如何实现“智能适应”？

Mamba 的动态参数计算本质是通过轻量级的输入映射，让模型在每个时间步灵活调整对“历史信息”和“当前信号”的依赖权重：

• 历史信息：通过固定矩阵 $A$ 捕获长期惯性（如金融市场的趋势延续性）；
• 当前信号：通过动态参数 $B(u_k),C(u_k)$ 聚焦关键输入（如异常波动、高成交量）。

这种机制使 Mamba 既能利用历史数据的长期规律，又能实时响应市场的短期变化，尤其适合比特币等高频、高波动的金融时间序列预测（如 CryptoMamba 在测试期的 RMSE 比传统 SSM 降低 15%）。

5、SSMs与 Mamba区别

传统状态空间模型（SSMs）与 Mamba 的核心区别及 Mamba 的创新点

一、传统 SSMs：线性时不变系统（LTI）

核心特性：

1. 线性系统：状态转移方程和观测方程均为线性关系，即隐藏状态更新和输出生成仅包含线性变换（如矩阵乘法、加法），无非线性激活函数。
   $$x_k=A{x}_{k-1}+B{u}_k,y_k=C{x}_k+D{u}_k$$
   其中 $A,B,C,D$ 为固定参数矩阵，不随输入 $u_k$ 或时间变化。

2. 时不变性（Time-Invariance）：系统动态仅由固定参数决定，与输入内容或时间点无关。例如，今天的状态转移矩阵 $A$ 与明天的 $A$ 完全相同，无法适应系统动态的变化（如市场制度变迁、环境突变）。

局限性：

• 仅能建模线性、稳定的动态系统，无法处理非线性关系（如金融市场的供需失衡导致的价格非线性波动）或时变环境（如监管政策变化导致的市场行为转变）。
• 对复杂场景（如比特币价格的高波动性和制度变迁）建模能力有限，需依赖人为设计特征或多层堆叠，导致参数冗余。

二、Mamba：引入上下文感知的时变 SSM

Mamba 通过三大创新突破传统 SSM 的限制，成为线性高效且自适应的时变系统：

1. 输入依赖参数（Input-Dependent Parameters）

• 核心改进：使 $B,C,\Delta$（时间步长）等参数依赖当前输入 $u_k$，形成时变系统（Time-Varying System）：
  $$x_k=A{x}_{k-1}+B(u_k)u_k,y_k=C(u_k)x_k+D{u}_k$$
  其中 $B(u_k)$ 和 $C(u_k)$ 是根据输入动态计算的矩阵，而非固定值。
• 举例：
  • 在比特币价格预测中，当交易量 $u_k$ 激增（市场活跃）时，$B(u_k)$ 会增大，使当前输入对隐藏状态的影响加强，快速捕捉短期波动；
  • 当价格进入稳定趋势（低波动），$B(u_k)$ 减小，突出历史趋势对当前状态的主导作用（类似“惯性”增强）。

2. 硬件感知算法（Hardware-Aware Algorithm）

• 计算效率：尽管引入动态参数，Mamba 通过优化算法（如利用矩阵快速幂、稀疏计算）保持 线性计算复杂度 $O(L)$（$L$ 为序列长度），与传统 SSM 相同，远低于 Transformer 的 $O(L^2)$。
• 优势：
  • 处理长序列（如 10 年金融数据）时，计算成本不会随序列长度剧烈增长，适合实时预测和大规模数据。

3. 上下文感知的动态适应

• 非线性建模能力：通过输入依赖参数，Mamba 可捕捉非线性动态和制度变迁（Regime Shifts），例如：
  • 当市场从“牛市”转为“熊市”（制度变迁），$C(u_k)$ 会调整观测方程，使隐藏状态对输出的映射从“趋势放大”转为“趋势抑制”；
  • 在语音识别中，面对不同说话人或噪声环境，参数动态调整以优化特征提取。

三、Mamba vs 传统 SSM：核心对比

特性	传统 SSM（LTI）	Mamba（时变 SSM）
参数性质	固定（与输入无关）	动态（随输入 $u_k$ 变化）
系统类型	线性时不变	非线性时变（参数自适应）
计算复杂度	$O(N^{2}L)$（$N$ 为隐藏维度）	$O(L)$（线性于序列长度）
适应场景	稳定、线性动态（如物理系统）	复杂、时变环境（如金融市场、自然语言）
长期依赖建模	依赖固定参数的线性叠加	动态调整参数以强化有效依赖

四、Mamba 的实证优势与应用影响

1. 性能突破：

   • 在语言（如长文本生成）、音频（如语音识别）、基因组（如序列分析）等任务中，Mamba 超越传统 SSM 和 Transformer，证明其在长序列建模中的优越性（文档段落）。
   • 例如，处理 1024 长度的序列时，Mamba 比 Transformer 快 50% 以上，且精度更高。

2. 对时间序列预测的启发（CryptoMamba 设计）：

   • 定制化架构：文档中提出的 CryptoMamba 借鉴 Mamba 的输入依赖动态，设计分层 C-Blocks 结构，使每个 CMBlock 的 Mamba 块能根据比特币价格的历史数据（输入）动态调整参数，捕捉高波动下的短期异常和长期趋势。
   • 轻量化与高效性：保持 Mamba 的线性计算复杂度，参数仅 136k，远低于 Transformer 和 LSTM，适合金融数据的实时处理和部署。

五、总结：Mamba 如何革新 SSM？

Mamba 通过**“动态参数 + 线性效率”**的组合，将传统 SSM 从“固定线性系统”升级为“自适应时变系统”，使其能够：

1. 适应非线性场景：通过输入依赖参数捕捉复杂动态（如金融市场的供需失衡、政策突变）；
2. 高效处理长序列：硬件感知算法确保计算成本可控，适合实时预测；
3. 泛化多领域任务：在语言、音频、金融等领域均表现优异，证明其普适性。

这一创新为时间序列预测（如比特币价格）提供了关键工具——既能利用 SSM 的长期依赖建模优势，又能通过动态参数适应市场的时变性，最终实现精度与效率的双重提升（文档段落）。