推广 热搜: 京东  联通  iphone11  iPhone  摄像头  网络安全  自动驾驶  企业存储  XSKY  京东智能采购 

9750亿参数多模态MoE模型Inkling发布,OpenAI前CTO新作开放权重引关注

   日期:2026-07-17     作者:itcg    浏览:2402    我要评论    
导读:9750亿参数多模态MoE模型Inkling发布,OpenAI前CTO新作开放权重引关注

美国AI初创公司Thinking Machines Lab正式发布其首款多模态混合专家(MoE)开放权重模型Inkling,该模型以可定制化、低成本部署和灵活推理强度调节为核心优势,为开发者提供全新的AI应用开发选择。目前,Inkling已在Tinker平台上线,支持64K和256K两种上下文长度,并提供限时五折优惠。

Inkling采用9750亿参数的MoE架构,其中激活参数为410亿,最高支持100万token上下文窗口。其技术路线融合了多项创新设计:每个MoE层包含256个路由专家和2个共享专家,每个token仅激活6个专家参与计算;通过滑动窗口注意力与全局注意力结合的方式提升长文本处理效率;采用相对位置嵌入替代传统旋转位置编码,在百万级上下文窗口任务中表现更优。训练阶段,该模型使用了4500万亿token规模的多模态数据,涵盖文本、图像、音频和视频,使其具备视觉理解、音频问答、代码生成和工具调用等综合能力。

在性能优化方面,Inkling引入"可控思考努力程度"机制,允许开发者根据任务需求动态调整推理强度。当需要高精度输出时,模型可投入更多计算资源;当侧重响应速度或成本控制时,则减少推理token消耗。测试数据显示,该模型在达到相近任务效果时,平均生成2.5万个token,较同类模型减少30%-40%的推理成本。后训练阶段采用的大规模异步强化学习技术,通过超过3000万次迭代优化,显著提升了模型在推理任务中的表现。

基准测试显示,Inkling在Artificial Analysis评测中取得41分,超越Nemotron 3 Ultra(38分)和Gemma 4 31B(29分),在美国开放权重模型中排名第一。在通用智能测试GDPval-AA v2中,该模型获得1238 Elo分,超过Kimi K2.6(1190分)和DeepSeek v4 Flash(1189分)。具体任务测试中,Inkling在银行业务代理测试Tau 3 Banking取得23.7%的成绩,接近DeepSeek v4 Pro的25.8%;在代码修复测试SWE-bench Pro Public中达到54.3%,终端操作测试Terminal Bench 2.1使用最佳Harness时达到63.8%。

实际应用测试中,Inkling展现了多模态任务处理能力。开发者基于该模型构建的书法教练应用,可同时调用编码、工具调用和视觉识别功能;在网页生成测试中,模型根据单一提示词创作出风格统一的三篇科幻短文;在软件开发测试中,仅通过需求描述便自动生成完整求职网站,并驱动浏览器Agent完成表单填写。更复杂的测试案例显示,该模型可经过40轮迭代优化,将简单的贪吃蛇游戏升级为包含实时服务器、AI对手和排行榜的完整系统。

Thinking Machines Lab同步推出轻量版Inkling-Small预览版,其激活参数为120亿,采用与标准版相同的训练方案,在降低模型规模的同时保留核心能力。公司表示,Inkling只是产品线的起点,未来将持续迭代拓展模型能力。目前,完整权重已在Hugging Face平台开放下载,开发者可获取原始checkpoint和NVFP4 checkpoint用于部署或二次开发。

 
反对 0举报 0 收藏 0 打赏 0评论 0
 
更多>同类资讯
0相关评论

头条阅读
推荐图文
相关资讯
网站首页  |  物流配送  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  RSS订阅  |  违规举报  |  京ICP备14047533号-2