打开APP

Meta重返开源!30B本地Agent塞进24GB显存,LeCun火速力挺

Meta开源小模型Muse Glimmer,参数30B经量化后一块24GB显卡就能跑通,主打消费级运行本地Agent,同时预告Muse Spark 1.2开放权重版将发布。

Meta,欢迎重返开源群聊。

兜兜转转,Llama的开源剧本,由MSL接棒——

小扎的亿元俱乐部首次上新开源模型Muse Glimmer,主打消费级运行的本地Agent。

模型参数仅30B,经量化后,一块24GB的消费级显卡就能跑通

小归小,但这次MSL开源的是一个真正能干活的Agent,拥有从规划、工具调用到自我检查和故障恢复的完整Agent能力。

BTW,这还是前菜:

Meta同时预告,Muse Spark 1.2的开放权重版本也将在不久后发布。

不仅如此,小扎还特意写了一篇小作文,内容就更直白了。

限制开源是大错特错!MSL已步入正轨,公司将恢复发布部分开放模型

好好好!北美开源之光,小扎他又回来了!

这波老黄「开源协议」上大分:

Meta前知名同事LeCun也迅速赶到评论区力挺:

01、MSL接棒开源

Meta这次开源的是一款基础小钢炮模型。

模型卡显示,Muse Glimmer总计约296亿参数,其中包括一个约18亿参数的视觉编码器,上下文长度超13万Token,支持文本和图像输入

可搭配单块消费级显卡运行,支持本地Agent、工具函数调用、本地代码开发、大模型裁判评测等各类应用场景。

简单来说,设计Muse Glimmer的目的就是在本地硬件内存和计算限制下,平衡Agent多种功能需求。

为此,Meta将训练过程分成了三个阶段:

先从更大的Muse Spark中蒸馏能力,再增加长上下文和Agent任务,最后通过监督微调、在线蒸馏和强化学习补足推理、编程与工具调用。

说白了,就是让大模型先示范怎么做,再把这套办事方法压进更小的模型里。

这里Meta做了两层压缩:

量化:

完整精度的300亿参数模型需要超过55GB内存,而17GB版本可以直接落进24GB显存。

Meta称,这一版本在15项常用评测上的平均准确率损失约为1%;面向32GB设备,平均损失约为0.2%。这意味着部署门槛得以大幅度降低。

DFlash推测解码:

普通模型一个Token一个Token往外吐,DFlash则先一次性提出一组候选Token,再由主模型并行核对。

根据测试,Muse Glimmer在RTX 5090上的生成速度由74.9 Token/s提升至233.4 Token/s,达到3.1倍;在M4 Max和M5 Max上也分别获得1.5倍和1.8倍加速。

官方测评里,Muse Glimmer的表现也相当不错。

在多个考察Agent能力的基准测试上,均略优于Gemma4-31B和Qwen3.6-27B。

不过它也不是同尺寸全能冠军。在OSWorld-Verified、SWE-Bench Verified和TerminalBench 2.1等测试中,Qwen3.6-27B仍然领 先。

Meta自己也明确表示,Muse Glimmer整体能力弱于Muse Spark,并未达到前沿AI标准。

所以Muse Glimmer最准确的定位是低门槛Agent,能力未必处处第 一,但该有的都有,而且24GB显存可用。

02、Muse Glimmer只是开场

事实上,Muse Glimmer还只是小扎重回开源路线的急先锋。

如果只看参数,这是一款工程取舍非常明确的本地模型,但如果把它和小扎的最新文章放在一起看,事情就变得有趣了起来。

扎克伯格在文章中将AI公司的选择分成了两边:

一边是把超级智能集中在少数实验室、企业和政府手中,用统一规则决定模型能力;另一边则是把能力广泛分发,让每个人拥有与自己目标一致的个人Agent

显然,Meta选择了后者。

小扎认为,未来的个人Agent需要全天候理解用户的健康、工作、财务、家庭和兴趣,甚至能观察训练状态、安排食谱、购买食材。

Agent越有用,需要接触的个人信息就越深。

因此,他承诺Meta将会提供公司自己也无法查看的完全隐私模式,同时让超级智能免费或以尽可能低的价格覆盖数十亿人。

未来Meta将继续开源部分模型,模型发布标准会先交由独立董事会审批,并保留相关安全评估。

他给出的理由也很直接,不仅是为了开发者生态,也是因为开放模型是产业竞争的关键。

这和英伟达老黄前段时间提出的开源倡议理念如出一辙,都是强调开放权重模型对AI生态健康的重要性

彼时几乎所有硅谷AI公司都签名了,Anthropic除外

不过签名是一回事,做是另一回事。

打响开源第 一枪的,意料之外又情理之中,还是Meta MSL

【本文由投资界合作伙伴微信公众号:量子位授权发布,本平台仅提供信息存储服务。】如有任何疑问题,请联系(editor@zero2ipo.com.cn)投资界处理。

相关资讯

AI数据总览

最新资讯

热门TOP5热门机构 | VC情报局

去投资界看更多精彩内容
【声明:本页面数据来源于公开收集,未经核实,仅供展示和参考。本页面展示的数据信息不代表投资界观点,本页面数据不构成任何对于投资的建议。特别提示:投资有风险,决策请谨慎。】