【水印论文阅读1】将水印规则的定义域从离散的符号空间转移到连续的语义空间

---

🌈你好呀！我是 是Yu欸 🚀 感谢你的陪伴与支持~ 欢迎添加文末好友 🌌 在所有感兴趣的领域扩展知识，不定期掉落福利资讯(*^▽^*)

---

写在最前面

版权声明：本文为原创，遵循 CC 4.0 BY-SA 协议。转载请注明出处。

这个“破局点”的本质是将水印规则的定义域从离散的符号空间转移到连续的语义空间，从而同时解决鲁棒性与安全性的矛盾。

---

为什么“token序列空间”有根本缺陷？

1. 脆弱性：
   • 水印规则依赖前 k 个token的具体ID（如 ["The", "cat", "sat"]）
   • 同义替换（如 "cat"→"feline"）或语序调整会完全破坏历史依赖 → 水印失效
2. 安全性局限：
   • 规则数量 = 词汇表大小 |V|^k（有限离散空间）
   • 攻击者可通过统计词频破解（如绿名单token频率异常高）

✅ 例：k=3 时，规则总数约 5万^3=125万亿（可被穷举分析）
❌ 致命伤：规则与语义无关，细微扰动即可破坏水印逻辑链

---

为什么“语义向量空间”能破局？

1. 连续性（抗攻击的核心）

• 语义嵌入（如BERT输出）将文本映射到连续高维空间
• 关键性质：语义相似的文本 → 嵌入向量距离相近（如 cos(embed_A, embed_B) ≈ 0.95）
• 水印生成逻辑：

  watermark_logits = T(embedding)  # T: 语义嵌入 → 水印logits的连续函数
  

• 抗攻击原理：
  • 同义改写/转述使嵌入向量微调而非剧变（如图）
  • 水印logits变化平滑 → 检测值 z 保持稳定

语义空间中改写的向量轨迹（微小扰动不影响水印）

2. 高维复杂性（防破解的核心）

• 语义空间维度通常 ≥ 768维（BERT-base为768维）
• 水印模型 T 是从 R^768 → R^{|V|} 的非线性映射
• 安全优势：
  • 规则空间连续无限，无法穷举
  • 即使获得部分水印文本，也难以反推 T 的决策边界
  • 攻击者无法通过词频统计破解（无固定绿名单）

✅ 例：在768维空间中，仅覆盖1%范围就需要 10^{2300} 个点 → 计算不可行

---

论文如何实现这一迁移？

1. 语义编码器：
   • 使用BERT类模型将前缀文本 t_{:i-1} 编码为固定向量 e_i
2. 水印生成器：
   • 训练轻量神经网络 T，满足：
     • 相似性约束：sim(T(e_i), T(e_j)) ≈ sim(e_i, e_j)（改写时输出稳定）
     • 均匀性约束：水印logits均值为0（避免偏好特定token）
3. 水印融合：
   • 最终logits = 原始logits + δ · T(语义嵌入)

---

效果验证：矛盾彻底解决

指标	KGW-1 (k小)	KGW-4 (k大)	SIR (语义水印)
攻击鲁棒性	高 (改写后AUC=0.88)	低 (改写后AUC=0.61)	高 (改写后AUC=0.85)
安全鲁棒性	低 (易被词频破解)	高 (难破解)	高 (连续空间无法穷举)
生成质量	可能失真	较稳定	最佳 (困惑度最低)

数据来源：论文Table 1 及 Appendix J

---

总结：破局点的核心价值

• 连续性 → 使水印对语义不变操作（改写/翻译/同义替换）具有鲁棒性
• 高维性 → 使水印规则复杂度超越攻击者计算能力，实现安全性
• 语义驱动 → 打破传统水印中 k 的权衡魔咒，真正实现鱼与熊掌兼得

这种范式迁移不仅解决了该论文的核心问题，更为后续工作（如跨语言水印）提供了基础框架——因为不同语言的同一语义也可映射到相似向量空间。

---

hello，我是 是Yu欸 。如果你喜欢我的文章，欢迎三连给我鼓励和支持：👍点赞 📁 关注 💬评论，我会给大家带来更多有用有趣的文章。
原文链接 👉 ，⚡️更新更及时。

欢迎大家点开下面名片，添加好友交流。