GUI Grounding: ScreenSpot
论文链接：arxiv.org/pdf/2401.10935
前言
大多数现有的GUI Agent 是通过提取结构化的数据（例如HTML）与环境进行交互，但是这种方式数据通常非常冗长，且在某些情况无法直接获取（如桌面环境）;结构化文本种类繁多，难以统一管理。
因此有了新的研究方向：仅依赖屏幕截图实现任务的自动化。
ScreenSpot
提出了ScreenSpot GUI grounding benchmark,涵盖IOS、Android、macOS、网页的600多个截图和1200条指令。
邀请了四位有经验的标注者（均为计算机科学领域的博士或硕士研究生），他们熟练使用手机和电脑，且熟悉GUI操作。
首先，为标注者分配不同的GUI类型，如iOS、Windows和网页，然后要求他们在日常使用过程中截取屏幕截图（例如使用各种应用程序），并使用标注工具对频繁交互的点击区域进行边界框标注。
最后，这些标注者需要为标注的屏幕元素编写对应的英文文本指令。所有标注的界面和操作元素均为英文，并经过后处理以移除个人信息。
图10提供了ScreenSpot的一些示例，其中包含移动端、桌面端和网页平台中的常见GUI场景。
