浙大快手开源MemGUI-Agent:手机长任务不再忘界面,8B权重可复现

流云 2026-10-27 1186 0条评论
摘要: 手机上的长任务,最容易出问题的不是单步识别,而是走到第十几步时把前面看过的界面忘掉。6月23日,浙江大学与快手联合开源MemGUI-Agent,一个长程手机GUI智能体,Apach...

手机上的长任务,最容易出问题的不是单步识别,而是走到第十几步时把前面看过的界面忘掉。6月23日,浙江大学与快手联合开源MemGUI-Agent,一个长程手机GUI智能体,Apache-2.0协议,Python开发。它把记忆做进了智能体本身:每一步判断哪些界面信息值得留下、哪些可以压成一句摘要,历史不是整段堆进上下文。在AI工具导航的手机智能体分类中,这种“主动上下文管理”的路线,与追加式历史的常规方案形成了明确区隔。

界面记忆的压缩与复用

智能体在每一步判断界面信息的去留,长任务的上下文长度因此可控,走到几十步时仍能记得最初的目标与已经完成的环节。同类页面结构会被归并成可复用的描述,下次遇到相似界面直接调用,不必重新识别一遍。这一层省下的既是上下文窗口,也是推理时间,对手机端算力尤其关键。从收到指令到点完最后一步由模型统一决策,中间不做人工拆解,任务跨度可以覆盖跨应用的多段流程——比如先查信息再填表提交,这类流程在单步模型上很难串起来。

基准数据:235B版本29.1%,8B微调17.9%

配套的MemGUI-Bench用于衡量长程任务完成度,README给出235B版本62.5% Pass@3与8B微调版本23.4% Pass@1。更能说明泛化能力的是第三方基准MobileWorld:在它GUI-Only的117个任务上,235B版本Pass@1成功率29.1%,8B微调版本17.9%,比同骨干的Qwen3-VL基线分别高出14.6与8.5个百分点。MemGUI-3K收录2956条成功轨迹、覆盖26个应用,平均每条28.8步——长程样本密度直接决定微调后的表现。8B微调版本在8张80GB显卡上训练约535分钟,做同规模实验前先按这个量级估机时。对于关注AI模型库的团队,这组数据提供了一个可复现的基线:真机轨迹加主动记忆机制,比单纯堆合成数据更能提升长程任务的成功率。

与OpenMobile-8B的路径差异

两者在MobileWorld GUI-Only上只差0.2个百分点,走的却不是同一条路。MemGUI-8B-SFT由策略决定压缩与记忆,ConAct主动管理折叠历史;OpenMobile-8B沿用追加式历史,靠合成数据铺场景。训练数据上,前者是2956条真机长程轨迹,后者由任务合成自动生成。同一套ConAct用在235B骨干上是29.1%,比同骨干基线高14.6个百分点。出发点也不同:OpenMobile先解决开源训练数据从哪来,覆盖的功能面更广,适合拿来做数据基座;MemGUI-Agent解决长程任务里上下文怎么管,适合改机制、做对照实验。两者都依赖真机或模拟器环境,评测成本不在模型侧而在设备侧。

场景与获取方式

记忆机制带来的收益集中在“步骤多、界面反复出现”的流程:跨应用代办从聊天里取信息,切到另一个应用填表提交,中途不丢目标;自动化测试按脚本走完关键路径,检查界面元素与提交流程是否仍然可用;评测与打榜用MemGUI-Bench对齐口径;课题复现以开放数据集与权重为基线,改动记忆机制后做对照实验。适用人群:做手机端智能体研究的团队与实验室,以及需要评估界面自动化可行性的测试团队;只处理单页操作、或对真机环境没有掌控力的场合,用成熟的自动化脚本更直接。代码与权重按Apache-2.0分发,不收费,也没有商业授权档位;训练与推理的开销全在自己这侧,真机农场或模拟器集群的机时往往比训练本身更贵。

编辑判断

MemGUI-Agent的价值不在于“又一个手机智能体”,而在于它把长程任务的瓶颈定位在了上下文管理上。主动压缩历史、复用界面记忆、端到端决策——这三项组合在一起,让几十步的手机操作不再因为窗口塞满而丢失目标。8B权重开放,复现门槛不高,但真机环境的稳定性才是实验能否重复的关键。手机GUI智能体正在从“单步识别”走向“长程记忆”,MemGUI-Agent是这条路线上的一个明确起点。


文章版权及转载声明:

作者:流云本文地址:https://sanwenge.com/post/1535.html发布于 2026-10-27
文章转载或复制请以超链接形式并注明出处三文阁