【差分隐私相关概念】瑞丽差分隐私（RDP）-命题1

---

命题1的详细推导过程

命题1：设 $f:\mathcal{D}\to {\mathcal{R}}_1$ 是 $(\alpha ,{ϵ}_1)$-RDP，$g:{\mathcal{R}}_1\times \mathcal{D}\to {\mathcal{R}}_2$ 是 $(\alpha ,{ϵ}_2)$-RDP。定义组合机制 $h(D)=(X,Y)$，其中 $X\leftarrow f(D)$ 且 $Y\leftarrow g(X,D)$，则 $h$ 满足 $(\alpha ,{ϵ}_1+{ϵ}_2)$-RDP。

证明：

1. Rényi散度的定义展开
   需证明对相邻数据集 $D$ 和 $D^{\prime }$，有：
   $$D_{\alpha }(h(D)\parallel h(D^{\prime }))\le {ϵ}_1+{ϵ}_2.$$
   根据Rényi散度的定义：
   $$\exp \left[(\alpha -1)D_{\alpha }(h(D)\parallel h(D^{\prime }))\right]={\int }_{{\mathcal{R}}_1\times {\mathcal{R}}_2}\left(Z(x,y{)}^{\alpha }{Z}^{\prime }(x,y{)}^{1-\alpha }\right)dydx,$$
   其中 $Z=(X,Y)$ 是 $h(D)$ 的联合分布，$Z^{\prime }=(X^{\prime },Y^{\prime })$ 是 $h(D^{\prime })$ 的联合分布。

2. 联合分布的分解
   联合分布可分解为：
   $$Z(x,y)=X(x)\cdot Y(y\mid x,D),Z^{\prime }(x,y)=X^{\prime }(x)\cdot Y^{\prime }(y\mid x,D^{\prime }),$$
   其中：

   • $X(x)=P_{f(D)}(x)$，即 $f(D)$ 在 $x$ 处的概率密度；
   • $Y(y\mid x,D)=P_{g(x,D)}(y)$，即给定 $X=x$，$g(x,D)$ 在 $y$ 处的概率密度；
   • $X^{\prime }(x)=P_{f(D^{\prime })}(x)$，$Y^{\prime }(y\mid x,D^{\prime })=P_{g(x,D^{\prime })}(y)$。

   代入积分式：
   $$\exp \left[(\alpha -1)D_{\alpha }(h(D)\parallel h(D^{\prime }))\right]={\int }_{{\mathcal{R}}_1}{\int }_{{\mathcal{R}}_2}{\left(X(x)Y(y\mid x,D)\right)}^{\alpha }{\left(X^{\prime }(x)Y^{\prime }(y\mid x,D^{\prime })\right)}^{1-\alpha }dydx.$$

3. 分离积分并应用条件RDP
   将积分分解为外层对 $x$ 和内层对 $y$ 的积分：
   $${\int }_{{\mathcal{R}}_1}X(x{)}^{\alpha }{X}^{\prime }(x{)}^{1-\alpha }\left({\int }_{{\mathcal{R}}_2}Y(y\mid x,D{)}^{\alpha }{Y}^{\prime }(y\mid x,D^{\prime }{)}^{1-\alpha }dy\right)dx.$$

   • 内部积分（对 $y$）：
     对于固定的 $x$，$g(x,D)$ 和 $g(x,D^{\prime })$ 满足 $(\alpha ,{ϵ}_2)$-RDP，故：
     $${\int }_{{\mathcal{R}}_2}Y(y\mid x,D{)}^{\alpha }{Y}^{\prime }(y\mid x,D^{\prime }{)}^{1-\alpha }dy\le \exp \left((\alpha -1){ϵ}_2\right).$$
   • 外部积分（对 $x$）：
     $f(D)$ 和 $f(D^{\prime })$ 满足 $(\alpha ,{ϵ}_1)$-RDP，故：
     $${\int }_{{\mathcal{R}}_1}X(x{)}^{\alpha }{X}^{\prime }(x{)}^{1-\alpha }dx\le \exp \left((\alpha -1){ϵ}_1\right).$$

4. 合并结果
   将两部分结合：
   $$\exp \left[(\alpha -1)D_{\alpha }(h(D)\parallel h(D^{\prime }))\right]\le \exp \left((\alpha -1){ϵ}_1\right)\cdot \exp \left((\alpha -1){ϵ}_2\right)=\exp \left((\alpha -1)({ϵ}_1+{ϵ}_2)\right).$$
   两边取对数并除以 $(\alpha -1)$，得到：
   $$D_{\alpha }(h(D)\parallel h(D^{\prime }))\le {ϵ}_1+{ϵ}_2.$$

结论：组合机制 $h(D)=(f(D),g(f(D),D))$ 的Rényi差分隐私参数为 ${ϵ}_1+{ϵ}_2$，即满足 $(\alpha ,{ϵ}_1+{ϵ}_2)$-RDP。

---

关键步骤说明

1. 联合分布的分解：
   利用条件概率 $P(X,Y)=P(X)P(Y\mid X)$，将联合分布的Rényi散度拆分为外层机制 $f$ 和内层机制 $g$ 的贡献。

2. 内部积分的上界：
   对每个固定的 $x$，$g(x,D)$ 和 $g(x,D^{\prime })$ 的Rényi散度被 ${ϵ}_2$ 限制，直接应用定义得到上界。

3. 外部积分的上界：
   外层机制 $f(D)$ 和 $f(D^{\prime })$ 的Rényi散度被 ${ϵ}_1$ 限制，同样通过定义完成上界估计。

4. 组合性：
   由于积分分离后各部分独立上界，最终结果表现为隐私参数的线性叠加，体现了RDP的组合性质。