宝运宝运莱官方游戏网

　　猫眼电影记者 温瑞安 报道P6F3X2M7T9QJ8L1B4WZR

GUI-Reflection 团队 投稿量子位 | 公众号 QbitAI

端到端多模态GUI智能体有了“自我反思”能力！南洋理工大学MMLab团队提出框架GUI-Reflection。

随着多模态大模型的发展，端到端GUI智能体在手机、电脑等设备上的自动化任务中展示出巨大潜力。它们能够看懂设备屏幕，模拟人类去点击按钮、输入文本，从而完成复杂的任务。

然而，当前端到端GUI多智能体的训练范式仍存在明显的瓶颈：当前模型往往使用几乎完美的离线演示轨迹进行训练，使得模型缺乏反思和改正自身错误的能力，并进一步限制了通过在线强化学习激发和提升能力的可能。

GUI-Reflection的核心思想是在智能体的各个训练阶段引入“反思与纠错”机制，这一机制贯穿预训练、监督微调和在线训练全过程，模拟了人类“犯错→反思→重试”的认知过程。

GUI预训练阶段：提出GUI-Reflection Task Suite任务套件, 将反思纠错能力进一步分解，让模型在预训练阶段框架让模型初步接触反思类任务，为后续打下基础。离线监督微调阶段：构建自动化数据管道，从已有离线无错轨迹中构建带有反思和纠错的行为数据，让模型成功习得反思纠错行为。在线训练阶段：搭建分布式移动端GUI学习环境，并设计迭代式反思反馈调优算法，让模型在与真实环境交互中进一步提升相关能力。

GUI-Reflection框架简介

GUI-Reflection 是一个贯穿训练全过程的框架，旨在系统性地赋予多模态GUI智能体以“自我反思与纠错”的能力。该框架由三大关键阶段组成，分别对应模型能力的认知启发、行为习得与交互强化：

1 GUI预训练阶段：启发反思相关能力

现有GUI预训练多聚焦于界面理解和操作感知，而忽视了反思相关的原生能力构建。GUI-Reflection 首次提出专为反思设计的GUI-Reflection Task Suite，包含三类关键任务：

Action Verification（动作验证）：判断某一步操作是否达成了预期目标，训练模型识别执行偏差。Action Reversal（动作回滚）：学习如何撤销错误操作，回退到正确的任务路径。Mistake-Informed Reattempt（基于错误的再尝试）：在明确过去错误的前提下，生成新的、改进的操作策略。

这些任务将复杂的反思行为分解为更细粒度的认知能力，使模型在预训练阶段即具备初步的“反思意识”。

2 离线监督微调阶段：自动化构建纠错轨迹

针对当前GUI数据集缺少犯错和纠错数据的问题，GUI-Reflection设计了一个自动化反思纠错数据生成管道。该方法从已有成功轨迹中自动构造出“带错轨迹”与“纠错行为”，实现数据维度上的“反思注入”。具体包括：

目标扰动生成错误行为：通过修改原始任务目标，使模型原本的动作在新目标下变成“错误”动作，并构建对应的反思错误行为数据。行为插入模拟失误：向成功轨迹中插入无效操作，让模型对无效错误操作做出反思并尝试新的正确操作。

整个数据增强过程无需人工标注，使得GUI模型在离线微调阶段习得了有效的反思行为。

3. 在线训练阶段：搭建反馈式反思回路

为了进一步提升模型在真实环境中的适应能力，GUI-Reflection构建了一个分布式安卓模拟环境，涵盖11个app和 215 个任务模板，支持高并发交互。基于此环境，GUI-Reflection设计了一种自动化迭代式在线反思调优算法：

成功轨迹将被细粒度验证，仅保留每一步的有效执行；失败轨迹则被自动定位错误步骤，并为该步骤自动生成前向修正（Pre-Error Correction）与后向反思（Post-Error Reflection）操作。

通过多轮训练迭代与动态采样策略，模型逐步优化其容错率、恢复能力与复杂规划水平。

实验结果

GUI-Reflection Task Suite测评结果

通过在构建的GUI-Reflection Task Suite上进行评测发现：

通用大模型（如 GPT-4o、Gemini）在GUI任务中具备不错的原生反思能力，能够初步识别错误并进行合理推理；小规模开源模型在这方面能力明显不足，尤其在面对失败操作时难以自我修复；更关键的是，现有的标准GUI预训练流程，反而会削弱模型原本具备的反思能力

当在预训练阶段引入反思导向任务数据，即使是较小规模的模型，也能显著提升其在反思相关任务中的表现，甚至达到接近闭源大模型的水平。

反思行为的有效性

在评测环境中进行实验后观察到：

在离线监督微调阶段引入反思类数据，可以显著提升模型的任务完成表现；进一步结合在线反思调优算法进行训练，模型的成功率持续提升，表现出更强的泛化能力与稳定性。

GUI-Relection-8B模型在AndroidWorld基准中也实现了 34.5% 的成功率，证明了GUI-Reflection框架的有效性。这一系列结果充分表明：在多个训练阶段显式引入反思机制，是提升GUI智能体能力的关键路径，而不仅仅依赖大规模演示数据或强模型本身。

反思行为样例

模型能够成功认识到之前操作的错误并采取对应操作进行回退。

对于不熟悉或不确定的操作，模型可以根据之前的错误做出新的尝试。

结语

GUI-Reflection为端到端多模态 GUI 智能体注入了全新的“自我反思”能力。从预训练、离线微调到在线交互，它系统性地打通了“犯错—反思—修正”的认知闭环，使模型在面对真实环境中的不确定性时，能够更加鲁棒、灵活地应对各种突发状况。

论文链接：https://arxiv.org/abs/2506.08012项目主页：https://penghao-wu.github.io/GUI_Reflection数据和模型HF链接：https://huggingface.co/collections/craigwu/gui-reflection-683c7fb964b44c0cca842290

代码仓库链接：https://github.com/penghao-wu/GUI_Reflection

??时事1：芙宁娜裸体被❌涩涩的视频

??06月22日,最新研究：早期强化降糖可让心血管获益,

　　柳枝毕竟只有一条，横扫四方后，再来追击时只来得及将这件宝具洞穿，汲取了其神性精华，没有去追第一强者。通天的龙卷风缩。杆傧，这里恢复宁静，四大强者的攻击都被瓦解，让众雄感到一种深深的恐惧！

,欧美三人囗交XXOO。

??06月22日,两会受权发布丨第十四届全国人民代表大会第二次会议关于全国人民代表大会常务委员会工作报告的决议,

　　各位家长，我们知道，我们还有很多不到之处，还有好多地方需要我们去改进，但请各位家长放心，我们会继续努力，有家长的支持，我们一定能把××学校办成××市一流的学校，让您为您的孩子是学生而感到骄傲。

,强行扒开双腿猛烈进入在视频,www.ypppt.com,小舞脱裤子自慰❌无码。

??时事2：妮可基德曼裸被❌到喷水

??06月22日,广西推动高水平共建西部陆海新通道 扩大开放水平,

　　同学们，火给我们带来温暖、光明、文明、但火也给我们带来危险和：，在安全平和的环境中，我们也要时刻保持强烈的安全意识，做到“不玩火”，注意用火用电安全，懂得消防知识，掌握逃生自救本领。那么，小朋友们，一旦火灾来临，你知道该怎么做吗？首先不能慌乱，应沉着冷静，如果在学校里，应该在老师的带领下按要求有序撤离，如果在其他公共场所，也应该采用科学的自救措施逃生，如当你在走进公共场所时，要留心安全出口、灭火器的位置，以便在发生意外时及时疏散和灭火，还要弄清楚楼层通道，不要盲目乱跑或开门，更不要朝着特别光亮的地方、烟雾大的地方跑。更重要的是要保护好我们的呼吸系统，用毛巾或是衣服捂住口鼻，不要大声喊叫，以防吸入烟雾窒息，冲出楼房时，要弯腰跑行等。

,阿蕾奇诺同人本子,H+晨勃+憋尿+硬了+嗯啊,妇女撒尿XXXX。

??06月22日,北京推出十项行动助力高校毕业生等青年早就业、就好业,

　　“我呸，什么低头不见抬头见，说的好听，早先你们干什么去了，为何要射杀我族人？！”石飞蛟喝斥道。

,欧美∨iboss,永久免费看成品人漫画破解版,微信小视频10元100部。

??时事3：原神珐露珊掀开裙子露出内裤

??06月22日,经济观察：城市老地标焕新回归 释放商圈经济新活力,

　　这一切都发生在电火石花间，从飞蛟被洞穿，到快速四裂，再到坠地，都在一刹那间完成。

,美女脱内衣的直播,51无敌男同免费观看大全,3D朱竹清扒开腿狂❌视频。

??06月22日,新疆阿克苏地区乌什县发生7.1级地震：已出现房屋倒塌情况 一被压儿童成功获救,

　　“我听林虎叔说，这种山兽奔行速度极快，可以日行一万里，上次他们几人在大荒中见到，追杀了几天，却连根毛都没有碰到。”石大壮说道。

,微勃破解板官方网入口,基尼奇r18车不适请退,日本撩裙子撒尿㊙️漫画。

??时事4：动漫禁纯肉无码涩涩H影视

??06月22日,宁夏提高三类兜底保障标准,

　　(三)全面推进绿化亮化，大幅度提升城市整体品位，努力把嘉荫建设成为环境优美的宜居城市。要充分利用绿化的有利时节，精心组织，加快实施，全面落实好园林绿化各项工作任务。一是抓好好道路绿化香化建设和管理。大力实施沿街道路绿化工程，进一步把绿化作为提升品位、彰显特色的重中之重，高层次建设绿带、绿地、绿景，重点实施好、管理好友谊街、繁荣街、临江街、江山路、朝阳路等城区主干道绿化，努力实现主次干道一路一景、一街一品绿化景观。二是抓好休闲广场、游园绿化和管理。把广场游园绿化作为工程项目来规划建设，不断提升江畔公园、俄罗斯风情园、中心公园、知青园等大型景观绿地的档次和品位。特别是要抓好沿江风光带绿化建设，要认真组织实施，打造城市亮点，展示嘉荫县边陲江城的独特魅力。三是抓好小区庭院绿化和管理。在建、新建小区要严格按照规定进行绿化，由规划、绿化部门进行统一验收，达不到绿化标准的，必须整改到位，否则不得投入使用。四是抓好展现城市形象的西出口绿化景观工程。继续推行西出口恐龙草雕和“嘉荫欢迎您”草雕字形建设，对恐龙草雕钢骨架造型及草雕图案进行整形，使恐龙景观更加形象逼真。同时，要增设适合的景观灯，增加景观灯照度，提高景观效果，目前这些工程已完成，今后要在搞好管理工作的基础上，逐年完善，凸显出口景观效果。五是抓好景观雕塑建设，在县城出入口及在重点部位，适时增设反映龙江文化、恐龙文化的小品雕塑，建设具有标志性的园林精品，提升城市绿化的整体品味和档次。

,丰满大乳少妇在线观看网站,少妇张开腿毛茸茸撒尿,欧美大白屁股xxⅹxx猛交。

??06月22日,超74000名南非选民在海外参加全国大选投票,

　　突然，苍莽山脉中心，发出了一声惊天动地大响，乱石穿空，竟然崩开了，混沌气扩散，席卷了整片的山脉。

,大长腿美女BB撒尿视频,手指在手心戳什么意思,卡夫卡被扒开腿狂❌动漫。