大模型的领域知识注入的四种路径
论文:https://arxiv.org/abs/2502.10708
在大模型的后训练中,存在如下挑战:如何有效地将领域知识注入到LLMs中,保持模型的灵活性、可扩展性和效率;如何在注入新知识时避免遗忘已有知识;如何在不同领域之间迁移知识。
论文总结了四种路径:
实际上日常使用还是优先提示词,然后RAG
论文:https://arxiv.org/abs/2502.10708
在大模型的后训练中,存在如下挑战:如何有效地将领域知识注入到LLMs中,保持模型的灵活性、可扩展性和效率;如何在注入新知识时避免遗忘已有知识;如何在不同领域之间迁移知识。
论文总结了四种路径:
实际上日常使用还是优先提示词,然后RAG