LLM针对隐藏层的特征增强的相关论文

LLM针对隐藏层的特征增强的相关论文

1. 《Pooling and Attention: What are Effective Designs for LLM-based Embedding Models?》

核心贡献：提出多层可训练池化（Multi-Layers Trainable Pooling），通过交叉注意力网络整合LLM所有隐藏层的输出，而非仅使用最后一层。实验表明，该方法在文本相似性和检索任务中显著优于传统池化策略。
链接：arXiv PDF

2. 《In-Context Sharpness as Alerts: An Inner Representation Perspective for Detecting Hallucinations in Language Models》