Thinking Machines首 款自研大模型,9750亿参数直接开源。
不追求综合跑分第 一,要做开源社区里最适合定制的基础模型。

因为他家的收入来源就是靠微调,自研平台Tinker专门卖模型定制服务。
团队演示了一个操作:让Inkling在Tinker上给自己写微调任务、自己跑训练、自己评估结果。

甚至可以调成禁止说字母e。

另外Inkling在设计竞技场Design Arena表现不错,排在开源模型中第二位,仅次于GLM5.2。

可以一次性设计出9页的精美排版PDF。

最亮眼的是几乎追平大参数版本的12B小弟。
Inkling-Small总参数276B、激活12B,采用改进后的预训练数据和配方,共享相同的后训练流程。
结果HLE带工具46.6%反超大模型的46.0%,GPQA Diamond 88.3%对87.2%同样反超,IFBench指令遵循83.4%对79.8%领 先更明显,SWEBench Verified 77.4%几乎持平大模型的77.6%。

目前正在完成最后测试,之后释放全部权重。
不做最强,做最能改的底座
架构上,Inkling大体沿用DeepSeek-V3的MoE设计。
每层256个路由专家加2个共享专家,每个token激活6个路由专家,采用基于sigmoid的路由器和无辅助损失的负载均衡偏置。
注意力机制则有所不同,滑动窗口层与全局层以5:1的比例交错排列,配合8个KV头,位置编码选择了相对位置嵌入而非更流行的RoPE,这在长序列外推上表现更好。
此外,模型在key/value投影之后以及注意力和MLP残差分支重新汇入主残差流之前,都加入了短卷积操作。
音频输入以dMel频谱图形式送入,图像则被切成40×40像素的patch通过四层hMLP编码,两者经过轻量嵌入层后与文本token一起处理,整个过程不依赖外部编码器。
可控思考:同样的结果,三分之一的token
Inkling最值得关注的设计之一是”可控思考深度”(controllable thinking effort)。
开发者可以通过effort参数在0.2到0.99之间调节模型的推理投入,在性能和成本之间找到最 优平衡点。
在Terminal Bench 2.1(智能体编程基准)上,Inkling达到与Nemotron 3 Ultra相同分数时,生成的token量只有后者的大约三分之一。

对于需要大规模调用模型的生产场景,这意味着成本和延迟的显著下降。
团队在训练时通过改变系统消息并调整每token的成本来指定不同样本的effort水平,模型由此学会了在不同rollout中使用不同数量的token,自然获得了控制思考深度的能力。
在effort=0.99的全力模式下,Inkling在多项基准上展现出开源模型中的先进水平:
AIME 2026得分97.1%,GPQA Diamond达到87.2%,SWEBench Verified为77.6%,HLE(带工具)46.0%。
安全性方面,FORTRESS对抗性测试78.0%为同类开源模型最高,同时良性查询通过率95.9%,不存在过度拒绝的问题。

团队通过对大量已解决的真实世界问题使用proper scoring rules做强化学习来训练校准能力,并专门设计了带弃权感知奖励的短答事实QA数据集,
只有模型确信正确时回答才有收益,否则最 优策略是说”我不知道”。
三千万次RL rollout炼出来的推理能力
预训练之外,Inkling的后训练流程覆盖了数学、智能体代码与工具使用、音频、图像、对话和安全等多个领域。
起步阶段先用开源模型(包括Kimi K2.5)生成的合成数据做SFT引导,但这部分只占总计算量的一小部分,大头全部投入了大规模强化学习。
RL的规模达到了3000万次以上的rollout,分两次长时间连续运行完成,训练全程保持稳定。在AIME、HLE、GPQA等推理评测的留出集上,奖励值呈现出log-线性的持续增长,从SFT初始化一直提升到最终发布的检查点。

训练过程中还出现了一个有趣的涌现现象:
随着RL推进,模型的思维链风格自动变得更加简洁。早期的思维链是完整的英语语法句子——“We need to understand the operator”;
到了后期变成了电报式压缩——“We need determine eigenvalue problem”,省略冠词和连接词,但仍然可读且不影响最终答案。

团队强调这并非奖励函数刻意优化的结果,纯粹是效率压力驱动的自发压缩。Cognition团队在训练SWE-1.7时也观察到了类似效应。
优化器方面,团队采用混合策略:大矩阵权重用Muon,其他参数用Adam,并将权重衰减强度与学习率的平方耦合,以保持模型权重在整个训练过程中的整体规模稳定。
Inkling目前已在Tinker平台上线,提供64K和256K两种上下文长度选项,限时五折。
团队同步更新了cookbook并新增三个展示音频能力的微调教程,还开源了tml-renderer工具用于可靠采样和后训练中的工具调用、推理内容及多模态输入处理。
Tinker控制台内新增的Inkling Playground限时免费开放,支持带智能体网页搜索的对话界面,供开发者在正式微调前先上手体验模型手感。
参考链接:
[1]https://thinkingmachines.ai/news/introducing-inkling/











