论文阅读：CIKM 2024 Empowering Private Tutoring by Chaining Large Language Models

总目录 大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328

Empowering Private Tutoring by Chaining Large Language Models

https://dl.acm.org/doi/abs/10.1145/3627673.3679665

https://www.doubao.com/chat/17951867456269314

CCF B

论文翻译

通过链接大型语言模型赋能私人辅导

摘要

人工智能已应用于在线教育的各个方面，为教学活动提供支持。然而，针对构建完整的人工智能驱动辅导系统的研究尚不多见。在本研究中，我们探索开发基于大型语言模型（LLMs）的功能完善的智能辅导系统。所提出的ChatTutor系统由最先进的大型语言模型提供支持，具备自动课程规划与调整、信息丰富的教学指导以及适应性测验生成与评估功能。

ChatTutor系统被分解为三个相互关联的核心流程：交互、反思和反应。每个流程通过链接大型语言模型驱动的工具以及动态更新的记忆模块来实现。为了展示各个工作模块的运行机制，以及结构化记忆控制和适应性反思的优势，我们基于统计结果和用户研究开展了广泛的分析。分析表明，所设计的流程在长期交互和故意干扰情况下提升了系统的一致性和稳定性，性能分别提高了高达5%和20%。同时，我们还将该系统与现实世界在线学习平台的脚本进行了对比，并探讨了基于大型语言模型的系统所特有的潜在问题。

关键词

大型语言模型、智能辅导系统、记忆机制、适应性反思

1 引言

在线教育与人工智能（AI）技术相结合，使个性化辅导的愿景触手可及[4]。人工智能已在多个方面为教育提供辅助，涵盖适应性内容推荐[9]、自动成绩评估[24,29]，以及个性化教学指导和动态反馈[3,13,18,22,44]。尽管早期已有部分研究致力于开发基于对话的智能辅导系统（ITS）[21,41]，但这些系统大多针对特定领域，且主要侧重于引导用户解决预设问题。然而，更具终极意义的探索在于追求一种功能完善、具备更高灵活性和通用性的人工智能驱动辅导系统，该系统能够以系统且一致的方式教授范围广泛得多的知识。

以往的研究通常联合运用多种技术，包括学习者风格分类[32]、数据挖掘[14]、贝叶斯学习[22]等。近年来，以ChatGPT[34]为代表的大型语言模型（LLMs）[1,6,45,46]应运而生，为智能辅导系统的新设计拓展了想象空间。大型语言模型最初凭借遵循人类指令生成和转换信息的能力给人留下深刻印象，随后其在任务规划和工具使用方面的潜力也逐渐显现。鉴于大型语言模型在提供详细易懂的内容和总结信息方面具备卓越能力，它们成为了咨询各类知识的优质资源。此外，大型语言模型在多轮对话互动中展现出显著能力，这使其非常适合辅导应用场景——在这类场景中，需要与学生进行双向交流。尽管大型语言模型仍面临幻觉等挑战[2]，但通过进一步的微调，它们能够适应特定领域的专业知识和教学策略。

在本研究中，我们探索利用生成式大型语言模型构建功能完善的基于对话的个性化辅导系统。与其他大型语言模型驱动的智能体相比，智能辅导系统的一个特点在于，教育是由人工智能与人类用户共同完成的长期协作过程。设计优良的辅导系统应能准确推断人类用户的心理状态，以实现适应性教学；同时，也应让用户了解学习进度，从而更有效地配合学习。因此，该系统面临一些独特挑战，例如如何对学习进度保持可解释且一致的控制，以及如何根据用户的反馈进行动态调整。

ChatTutor采用模块化设计，包含三个核心流程——交互、反思和反应，每个流程又由链接起来的大型语言模型驱动工具构成，以执行原子任务。这些流程通过各类记忆模块相互连接，记忆模块存储描述整体进度的关键数据，并支持数据的更新与检索。这种设计实现了结构化的记忆控制和对当前状态的适应性反思。

ChatTutor系统能够系统且动态地执行教育过程中的各个阶段，包括教学指导、答疑解惑、习题生成与评估。需注意的是，该系统旨在满足通用学习需求，而非针对特定用户群体。

我们通过分析从学习日志中收集的统计数据和人类主观反馈，对所提出的系统进行了评估。结果表明，ChatTutor能够令人满意地处理各类教育活动，包括适应性课程规划设计、一致性教学指导、即兴答疑等。同时，消融研究表明，在长期交互和面临故意干扰的情况下，该系统在性能稳定性和一致性方面具有优势。

图1：学习进度示例。左侧是由交互流程直接控制的用户界面。右侧是由反思和反应流程带来的后端记忆变化

2 相关工作

自人工智能技术发展以来，人们提出了多种辅助教学过程的方法和工具。AutoTutor[21]是首个基于对话的智能辅导系统，后续引发了一系列相关研究[12,13,19,30,39,47]。除了将AutoTutor应用于各个领域外，研究人员还对教育特定方面的优化进行了探索，包括适应性反馈[13,38]、学习材料推荐[31,42]以及学习者分类[22,25,32]。常用的技术包括数据挖掘[14]、基于条件-动作规则的方法[25,42]、基于贝叶斯的方法[22]以及强化学习[18,27]。此外，语义分析[21]、文本蕴含[28,40,48]等自然语言处理（NLP）特定技术也被采用。在应用领域方面，现有系统通常依赖结构完善的知识库，因此仅针对单一领域，其中最常见的领域包括健康领域[15,29]、计算机科学领域[23,31]和语言学习领域[16,42]。

在大型语言模型的应用方面，通过适当的提示和链接，已有多项研究探索了大型语言模型在遵循各类指令[7,10,11,35]、任务分解[49]、答案优化[26,43]、使用外部工具[37]以及模拟人类行为[36]等方面的应用。而本研究侧重于构建一个能与人类用户协作的交互式辅导系统，其核心特点是具备动态反思能力。

6 结论与未来工作

本研究是对大型语言模型驱动的智能辅导系统的开创性探索，重点关注了利用大型语言模型完成复杂且动态的长期交互的可能性。所提出的ChatTutor系统能够令人满意地完成智能辅导系统的核心功能。消融研究表明，三流程系统设计在确保系统行为的稳定性和一致性方面具有独特优势，同时通过所设计的机制保持了系统的灵活性和适应性。

尽管我们的评估揭示了记忆机制和流程设计在长期交互中的优势，但我们也认识到，对智能辅导系统进行全面评估远比想象中复杂[8,20]。在大型语言模型时代，为交互式系统设计更标准的评估指标也同样重要。此外，该系统还面临大型语言模型特有的问题，例如生成的教育内容的有效性以及训练数据中潜在的偏见[17,33]，这些问题可通过特定领域的微调以及检索增强的事实核查来缓解。

尽管存在这些挑战，本研究提出了将大型语言模型链接应用于教育过程的有意义案例，这可能为未来利用大型语言模型构建更具交互性和反思能力的系统提供启发。