优化提示词提升VLLM准确率
通过优化提示词提升VLLM准确率
- 清晰简洁表述:避免使用模糊或冗长的语言,直接阐述任务。例如,若要模型识别图片中的物体,应直接说“识别这张图片中的所有物体”,而非“请你看看这张图片,告诉我里面有什么东西,越详细越好”,让模型能迅速抓住关键,给出准确答案。
- 分解复杂任务:将复杂的视觉任务拆解为一系列简单、具体的子任务,依次向模型提问。如对于一张包含多种物体和场景的图片,可先让模型识别主要物体,再描述场景特征,最后分析物体之间的关系,有助于模型逐步深入理解任务,提高回答的准确率。
- 提供背景信息:若图片涉及特定背景知识或情境,应在提示词中说明,帮助模型更好地理解图像。如图片是一幅历史事件相关的画作,可先介绍事件背景,再让模型分析画作内容,避免模型因缺乏背景知识而产生误解。
- 使用肯定性指令:采用“做”“识别”“分析”等正面指导词汇,避免“请勿”“不要”等否定性表达。肯定性指令有助于模型更积极