当前位置：首页 > news >正文

旋转位置编码（Rotary Positional Encoding, RoPE）：中文公式详解与代码实现

news 来源：原创 2025/5/17 8:42:09

旋转位置编码（Rotary Positional Encoding, RoPE）：中文公式详解与代码实现

在序列模型中，位置信息对于任务的理解至关重要。传统的绝对和相对位置编码各有优缺点，而RoPE作为一种创新的位置编码方法，展现了其独特的优势。

RoPE的核心思想

RoPE通过旋转机制动态地捕捉位置信息。它允许查询（query）和键（key）向量的旋转程度根据它们之间的相对或绝对位置自动调整。这种方法使模型能更好地适应不同长度的序列，并提升长序列的处理能力。

公式解读

基本公式

RoPE的基本思想是将每个位置i的编码表示为：
$\text{pos}(i) = (\cos(i \times \tau), \sin(i \times \tau))$

其中， $\tau$ 是一个预先定义的角度参数。

旋转机制

RoPE通过以下公式实现对查询Q和键K的旋转：
$\cdot e^{-\theta K[j]} - K[j] \cdot e^{\theta Q[j]}$
$\cdot e^{\theta K[j]} + K[j] \cdot e^{-\theta Q[j]}$

这里， $\theta$ 是一个旋转角度参数，控制旋转的程度。 $\tau$ 通常由模型通过训练学习得到。

代码实现

环境准备

安装必要的库：

pip install numpy matplotlib

实现步骤

定义RoPE函数：

import numpy as np

def rotary_nd(q, k, tau=1000.0):
    q = q.copy()  # 防止原数据被修改
    k = k.copy()
    theta = tau / (k.max() + 1) if k.max() > 0 else tau
    cos_theta = np.cos(theta)
    sin_theta = np.sin(theta)

    # 应用旋转矩阵到查询向量Q
    q_rot = q * cos_theta - k * sin_theta
    # 应用逆时针旋转矩阵到键向量K（可选）
    k_rot = q * sin_theta + k * cos_theta
  
    return q_rot, k_rot

创建测试数据：

n = 50  # 每个词的维度数
seq_len = 100  # 序列长度
Q = np.random.randn(seq_len, n)  # 随机生成查询向量Q
K = np.random.randn(seq_len, n)  # 随机生成键向量K

应用RoPE并计算相似度：

Q_rot, K_rot = rotary_nd(Q, K)
similarity = np.mean(np.dot(Q_rot, K_rot.T), axis=0)

可视化结果：

import matplotlib.pyplot as plt

plt.figure(figsize=(12, 6))
plt.subplot(1, 2, 1)
plt.plot(similarity[:5], label='RoPE相似度前五')
plt.title('RoPE 相似度曲线')
plt.xlabel('位置索引')
plt.ylabel('相似度值')
plt.legend()

# 可视化旋转后的向量（以二维为例）
original_points = [(Q[0, 0], Q[0, 1]), (K[0, 0], K[0, 1])]
rotated_points = [(Q_rot[0, 0], Q_rot[0, 1]), (K_rot[0, 0], K_rot[0, 1])]

plt.subplot(1, 2, 2)
for p in original_points:
    plt.scatter(p[0], p[1], c='blue', alpha=0.5, label='original')
for p in rotated_points:
    plt.scatter(p[0], p[1], c='red', alpha=0.5, label='rotated')
plt.title('向量旋转示意图')

plt.legend()
plt.show()