跨平台的众模态智能体基准测试 CRAB 由 CAMEL AI 社区主导，由来自牛津、斯坦福、哈佛、KAUS T○
AI 智能体（Ag○ent）是当下大型措辞模子社○区中最为吸引人的钻探宗旨之一，用户只须要提出我方的需求，智能体框架便可能改变众个 L○LM▽s 并援手众智能体（Multi- ag ents）以团■结或竞赛的格式来落成用户给定的职责。
目前智能 体已越来越众地与大型众模◁态模子 (MLM) 相纠=合租房补贴，援手正 在各式操作体系（ 蕴涵 网页机灵社区、桌面电△○脑和智高手机） 的图△形用户界▽面（ GUI） 境遇○中实行职责。不过目前针对这种智能体机能评估的 基准（benchmar=ks）依然存正在许○众控制性…机灵◁社区，比如修建职责和测试 境遇 的丰富性，评判目标的简单性等。
针对这些题目，本文提出 了一个全新 的跨境遇智能 体基 准测=试框架 CRAB… 作家=采 纳了今朝较为风行的四个众 模态 模子举行了发轫试 验，试验结果评释，操纵 G…PT★-4o 动作推○…理引擎的单智能=体布局具有最高的测○试点 落成率 35。26% 动 作全新的 智★能体 评■估基准框架，CRAB（Cross-envi ronment Agen t Benchmark）紧要用于评估基于众模态措辞模子（MLMs）的智能体正在跨境遇职责中的再现Bsports必一体育智能家电智能照明，。CR○AB 可能 模仿真正 天下中人类用户同时操纵众个配置落▽成■丰富职责的场景，如 Demo 所示，CRAB 可能用来评估智能体同时驾驭一个 Ubuntu 桌面体 系和一个 Android 手机体系落成 发送…消息○…的流程。 遐念一○下智能家居体系构架图，许众繁杂的○软件■操作就可能由■智能体 来落成，从而降低整个的办事效用。为了实现这个标的，咱们须▽要为智★能体修建特 别统◁统=和真正的跨平台 测试境遇，异常是须 要援手同 时操作众个配置 而且能供给足够 的评估反△应机制。本文的 CRAB 框架考试○处理 以下几个△○本质题目Bsports必一体育智能家居系统概述。 跨境遇职责评估：现有的基 准测试广 泛 只合 切简 单境遇（如网页、Android■ 或桌面操作体系）[1][2][3][▽4]，而蔑视 …了真正天 下中跨配置团结场景的 丰富性。CRAB 框架援手将一 个配置或◁操纵◁ 的 交…互封装为 一个境遇，通过对众境遇职责的援手，供给给智能体更富厚的操作空间，也更亲切本质操纵场景。 细粒度评估要领：古代的评估 要领 ○ 要 ■ 么只○合 切最○终标的 的落成○环○= 境▽（标的=导向○ ），要么厉厉比对操作轨迹（轨迹导向 ）[1]…[2][3]。这两种要领都存正在控制性，无法统统反应智能体的再现。CR■AB 提出 了 基于图的 评估要▽○ 领，既能供给细粒度的评估目标，又能适当 ▽众种有用的职责落○ 成 旅途。 职责修建丰富性：跟着职责丰富度的填充，手动修建职责和 评估■器□变得越来越障碍。CRAB 提出了一种基◁于子职责组合的要领，简化了跨境遇职责的修建流程。 智能体体系布局评估：本文▽ 还切磋○了◁区别智能体体系布 ◁局 （单智能体、基于功用分工的众智能体、基于□境遇○分▽工的 ○众智能体） 对职责落成功效的影。Bsports必一体育智慧社区租房补贴智能家居系统构架图
