9月22号明略科技扔出个重磅消息,他们家的GUI大模型Mano,在Mind2Web和OSWorld两个行业公认的测试里都拿了SOTA。

这俩测试可不是随便应付的,能同时登顶,在GUI智能体圈子里真没几家用做到。

本来想只说“拿了第一”就完事儿,但后来发现这成绩背后的门道才有意思。

咱们先聊聊这俩测试到底有多难,Mano又是怎么过关的。

9年鼠标操作,被明略Mano用40%成功率“一键解放”

双榜登顶,Mano怎么破了“桌面和网页的难题”

先看OSWorld,这测试被业内称为“桌面智能体的珠峰”,它包含369个跨应用任务,覆盖10类软件,像用LibreOffice改记账表再导出无字幕视频,这种需要在多个软件间切换的操作,以前很多模型都卡在这里。

Mano在这个测试里的达标率很亮眼,而且稳定性特别高,对比其他模型,比如UI-TARS-7B,Mano的表现能甩它一截。

有个做电商运营的朋友跟我说,他们以前处理订单导出,一天得花2小时手动操作,用Mano试了一次,8分钟就搞定了。

9年鼠标操作,被明略Mano用40%成功率“一键解放”

这种效率提升,对天天跟重复操作打交道的人来说,怕是最有体会。

再看网页端的Mind2Web,它覆盖137个网站,2350多个真实任务,从填表格到订机票都有。

这些网站的DOM结构经常变,有的还带反爬机制,比如某航司的订票页,每月都要改一次界面。

Mano在识别界面元素和完成多步操作上,表现比之前的模型好不少,有次跟做财务的同事聊天,他们说以前填跨境退税表单,得对着说明一步步核对,稍不注意就错。

Mano能全流程自动弄,出错率还低。

9年鼠标操作,被明略Mano用40%成功率“一键解放”

如此看来,Mano不光是拿了名次,更实际的是帮人解决了真问题。

两大“绝招”,让Mano从“学动作”到“会进化”

Mano能有这成绩,靠的是两个核心技术。

第一个是在线强化学习,这东西说起来有点绕,其实就是让模型边操作边学习。

它的训练分三步,先做监督微调打基础,再用离线强化学习优化,最后到在线强化学习,在模拟环境里实战。

9年鼠标操作,被明略Mano用40%成功率“一键解放”

很多模型都卡在第二步,数据老了就不管用,Mano不一样,它能在真实环境里不断试错,比如安装Chrome插件、调试Excel公式,试错过程中收集新数据,再反过来优化自己。

这逻辑有点像OpenAI当年做的DotaAI,不过场景从游戏换成了办公。

把在线强化学习用到GUI领域,明略这步走得挺巧。

实验数据也能看出来,加了在线强化学习后,Mano在OSWorld的达标率涨了不少,比只靠离线训练的模型强多了。

9年鼠标操作,被明略Mano用40%成功率“一键解放”

第二个绝招是自动化数据采集,大模型学操作得要大量交互数据,以前靠人工标,又慢又贵。

Mano用了Chrome插件Mano-C和桌面的A11yTree解析,能自动抓数据,还能给数据打语义标签,准确率挺高。

有个银行的案例很典型,他们家网银改了界面,以前用传统RPA,得三天人工适配,Mano通过自动探索,两小时就更新了操作策略。

很显然,这种自动采数据的方式,解决了数据“不够用、更新慢”的大麻烦。

9年鼠标操作,被明略Mano用40%成功率“一键解放”

从实验室到办公桌,Mano真能“解放双手”?

现在Mano已经开始落地到企业里,效果比我预想的还实在。

在财务场景,有个快消企业以前关账要72小时,涉及5个系统抓数据,人得盯着来回导。

Mano接手后,关账时间压到了48小时,出错率还降了。

运营场景更明显,某电商品牌上架商品,以前一个商品要2小时,填信息、传图、核对库存,一步都不能少。

9年鼠标操作,被明略Mano用40%成功率“一键解放”

Mano弄下来只要10分钟,一个月能省200多个人工小时。

这种重复活交给AI,人能腾出时间做创意、分析这些更有价值的事,这才是AI该干的。

更关键的是,Mano能搞定那些没开放API的网站,比如亚马逊广告后台,以前要手动登录、选时间、筛数据,现在Mano能自动弄。

毫无疑问,这在行业里是个壁垒,很多同类AI都做不到。

9年鼠标操作,被明略Mano用40%成功率“一键解放”

不过我也在想,Mano现在还有提升空间,比如验证码识别,虽然比去年好很多,但偶尔还是会错,明略说接下来要优化端侧部署,让中小企业也能用得起。

如此看来,Mano不光开启了GUI智能操作的新时代,更可能让自动化变得更普及。

总的来说,Mano拿双榜SOTA不是偶然,靠的是技术找对了方向,解决了行业真痛点。

以后咱们不用再跟鼠标较劲,把重复操作交给AI,人专心搞创造,这才是科技该有的样子。

友情提示

本站部分转载文章,皆来自互联网,仅供参考及分享,并不用于任何商业用途;版权归原作者所有,如涉及作品内容、版权和其他问题,请与本网联系,我们将在第一时间删除内容!

联系邮箱:1042463605@qq.com