可视化提示词嵌入向量在训练过程中的变化:visualize_embedding_changes
可视化提示词嵌入向量在训练过程中的变化:visualize_embedding_changes
这个函数 visualize_embedding_changes
的作用是可视化提示词嵌入向量在训练过程中的变化。通过计算每个训练轮次(epoch)的嵌入向量与初始状态的余弦相似度,并绘制成折线图,可以直观地观察优化过程中向量空间的变化轨迹。
核心功能与原理
-
余弦相似度计算:
- 余弦相似度衡量两个向量方向的相似性,值越接近1表示方向越相似,越接近0表示方向差异越大。
- 在提示词优化中,若相似度接近1,说明优化后的向量与初始向量差异小;若相似度下降,说明向量在训练中发生了显著变化。
-
可视化意义:
- 若相似度曲线快速下降后趋于稳定,说明优化过程有效且收敛。
- 若