【差分隐私相关概念】瑞丽差分隐私（RDP）引理1

---

引理1的详细推导过程

引理1陈述

若分布 $P$ 和 $Q$ 满足：
$$D_{\infty }(P\parallel Q)\le ϵ\text{且}{D}_{\infty }(Q\parallel P)\le ϵ,$$
则对任意 $\alpha \ge 1$，有：
$$D_{\alpha }(P\parallel Q)\le 2\alpha {ϵ}^2.$$

---

证明步骤解析

步骤1：拆分两种情况

1. 当 $\alpha \ge 1+\frac{1}{ϵ}$
   由Rényi散度的单调性，对 $\alpha \ge 1$，有：
   $$D_{\alpha }(P\parallel Q)\le D_{\infty }(P\parallel Q)=ϵ.$$
   由于 $\alpha -1\ge \frac{1}{ϵ}$，进一步可得：
   $$ϵ\le (\alpha -1){ϵ}^2⟹D_{\alpha }(P\parallel Q)\le (\alpha -1){ϵ}^2\le 2\alpha {ϵ}^2.$$
   此时引理成立。

2. 当 $\alpha <1+\frac{1}{ϵ}$
   这是证明的核心部分，需通过不等式展开和积分分析。

---

步骤2：关键不等式推导

对任意 $x>y>0$，令 $\lambda =\log (x/y)$，且 $0\le \beta \le 1/\lambda$，有以下不等式：
$$x^{\beta +1}{y}^{-\beta }+x^{-\beta }{y}^{\beta +1}=x{e}^{\beta \lambda }+y{e}^{-\beta \lambda }\le (1+(\beta \lambda {)}^2)(x+y)+\beta \lambda (x-y).$$
推导依据：

• 指数函数的二次上界：当 $t=\beta \lambda \in [0,1]$ 时，
  $$e^t\le 1+t+t^2\text{且}{e}^{-t}\le 1-t+t^2.$$
  代入后展开并合并同类项即得不等式。

---

步骤3：应用于Rényi散度的积分

对 $\alpha <1+\frac{1}{ϵ}$，令 $\beta =\alpha -1$，则 $\beta \le 1/ϵ$，且 $\beta \lambda \le \beta ϵ\le 1$，满足不等式条件。

1. 展开Rényi散度的指数形式：
   $$\exp \left[(\alpha -1)D_{\alpha }(P\parallel Q)\right]=\int P(x{)}^{\alpha }Q(x{)}^{1-\alpha }dx.$$
   由于 $D_{\alpha }(Q\parallel P)\ge 0$，可添加对称项并减去1：
   $$\int P^{\alpha }{Q}^{1-\alpha }dx\le \int \left(P^{\alpha }{Q}^{1-\alpha }+Q^{\alpha }{P}^{1-\alpha }\right)dx-1.$$

2. 应用关键不等式：
   令 $x=P(x)$, $y=Q(x)$，代入步骤2的不等式：
   $$P^{\alpha }{Q}^{1-\alpha }+Q^{\alpha }{P}^{1-\alpha }\le \left(1+(\beta \lambda {)}^2\right)(P+Q)+\beta \lambda |P-Q|.$$
   其中 $\lambda =\log (P/Q)\le ϵ$，故 $(\beta \lambda {)}^2\le (\beta ϵ{)}^2=(\alpha -1{)}^2{ϵ}^2$。

3. 积分处理：
   对积分进行分解：
   $$\int \left(1+(\alpha -1{)}^2{ϵ}^2\right)(P+Q)dx+(\alpha -1)ϵ\int |P-Q|dx.$$

   • 第一项积分：$\int (P+Q)dx=2$，故：
     $$\left(1+(\alpha -1{)}^2{ϵ}^2\right)\cdot 2.$$
   • 第二项积分：$(\alpha -1)ϵ\cdot \Vert P-Q{\Vert }_1$。

   整体结果为：
   $$2\left(1+(\alpha -1{)}^2{ϵ}^2\right)+(\alpha -1)ϵ\Vert P-Q{\Vert }_1-1.$$
   化简为：
   $$1+2(\alpha -1{)}^2{ϵ}^2+(\alpha -1)ϵ\Vert P-Q{\Vert }_1.$$

---

步骤4：处理 $\Vert P-Q{\Vert }_1$ 的界

1. L1范数的表达式：
   $$\Vert P-Q{\Vert }_1=\int |P(x)-Q(x)|dx.$$
2. 分解为最小和最大项：
   $$\Vert P-Q{\Vert }_1=\int \min (P,Q)\left|\frac{\max (P,Q)}{\min (P,Q)}-1\right|dx.$$
3. 利用 $D_{\infty }$ 的条件：
   由 $D_{\infty }(P\parallel Q)\le ϵ$，得 $\max \left(\frac{P}{Q},\frac{Q}{P}\right)\le e^{ϵ}$，因此：
   $$\left|\frac{\max (P,Q)}{\min (P,Q)}-1\right|\le e^{ϵ}-1\le 2{ϵ}^2(\text{当}ϵ\le 1).$$
   因此：
   $$\Vert P-Q{\Vert }_1\le 2{ϵ}^2\cdot \int \min (P,Q)dx\le 2{ϵ}^2.$$

---

步骤5：结合所有项并取对数

将 $\Vert P-Q{\Vert }_1\le 2{ϵ}^2$ 代入步骤3的结果：
$$\exp \left[(\alpha -1)D_{\alpha }(P\parallel Q)\right]\le 1+2(\alpha -1{)}^2{ϵ}^2+2(\alpha -1){ϵ}^3.$$
利用 $\log (1+x)\le x$ 对两边取对数：
$$(\alpha -1)D_{\alpha }(P\parallel Q)\le 2(\alpha -1{)}^2{ϵ}^2+2(\alpha -1){ϵ}^3.$$
两边除以 $(\alpha -1)$：
$$D_{\alpha }(P\parallel Q)\le 2(\alpha -1){ϵ}^2+2{ϵ}^3\le 2\alpha {ϵ}^2(\text{因}\alpha \ge 1).$$

---

关键点总结

1. 指数函数的二次上界：核心在于将 $e^t$ 和 $e^{-t}$ 用二次多项式近似，适用于小 $t$（即 $\alpha$ 接近1）。
2. 对称性处理：通过添加 $Q^{\alpha }{P}^{1-\alpha }$ 的积分，利用对称性简化分析。
3. L1范数的控制：利用 $D_{\infty }$ 的条件将 $\Vert P-Q{\Vert }_1$ 的界转化为 ${ϵ}^2$ 的倍数。
4. 参数范围适配：通过拆分 $\alpha$ 的范围，分别处理大 $\alpha$ 和小 $\alpha$ 的情况，最终统一结果。

结论：在 $D_{\infty }$ 的约束下，Rényi散度 $D_{\alpha }$ 被二次放缩为 $2\alpha {ϵ}^2$，适用于所有 $\alpha \ge 1$。