西安网站建设设计公司招标网公告

AUTOPROMPT

预训练语言模型的显著成功促使人们研究这些模型在预训练期间学习了哪些类型的知识。将任务重新表述为填空题（例如，完形填空测试）是衡量此类知识的自然方法

但是，它的使用受到编写合适提示所需的手动工作和猜测的限制。为了解决这个问题，我们开发了 AUTOPROMPT，这是一种基于梯度引导搜索为各种任务创建提示的自动化方法。

使用 AUTOPROMPT，我们表明掩蔽语言模型 （MLM） 具有执行情感分析和自然语言推理的固有能力，无需额外的参数或微调，有时可以达到与最近最先进的监督模型相当的性能。我们还表明，与 LAMA 基准上手动创建的提示相比，我们的提示从 MLM 中获得了更准确的事实知识，并且 MLM 可以比监督关系提取模型更有效地用作关系提取器。

这些结果表明，自动生成的提示是现有探测方法的可行无参数替代方案，并且随着预训练 LM 变得更加复杂和功能强大，有可能替代微调。

AUTOPROMPT 的自动化提示生成方法，旨在让预训练语言模型（如BERT、RoBERTa）无需额外微调或添加参数，就能通过自动生成的提示完成多种任务。