推广 热搜: 京东  联通  iphone11  摄像头  企业存储  XSKY  京东智能采购  iPhone  网络安全  自动驾驶 

Cerebras发布第三代芯片WSE-3:性能翻倍,助力大模型训练

   日期:2024-03-15     作者:itcg    浏览:88    我要评论    

IT采购网3月14日消息,晶圆级芯片领域的领军企业Cerebras,近日发布了其最新一代的芯片产品——WSE-3。据悉,这款芯片在保持与前代产品WSE-2相同功耗的同时,实现了性能的大幅提升,翻倍的表现令人瞩目。

WSE-3的详细参数显示,它采用了台积电先进的5nm制程技术,集成了高达4万亿个晶体管,拥有900,000个AI核心,以及44GB的片上SRAM缓存。此外,WSE-3还提供了1.5TB、12TB和1.2PB三种可选的片外内存容量,以满足不同场景下的需求。其峰值AI算力更是高达125PFLOPS,展现了强大的计算能力。

据IT采购网了解,Cerebras基于WSE-3推出了CS-3系统,该系统凭借其最高可达1.2PB的内存容量,能够训练比当前热门的GPT-4和Gemini模型大10倍的下一代前沿模型。这意味着CS-3可以在单个逻辑内存空间中容纳参数规模高达24,000T的模型,为开发人员提供了极大的便利,简化了他们的工作流程。

CS-3系统非常适合超大规模AI需求。一个紧凑的四系统集群就能够在一天内完成70B模型的微调。而当使用最大规模的2048个CS-3系统集群时,它甚至可以在一天内完成Llama70B模型的训练,展现了惊人的训练速度。

Cerebras还强调CS-3系统的易用性。在大模型训练中,与GPU相比,所需代码减少了97%。开发人员仅需565行代码就可以实现与GPT-3大小模型相当的标准实现,这大大降低了开发门槛和复杂度。

阿联酋的G42财团已经表示将打造基于Cerebras CS-3的Condor Galaxy3超级计算机。这台超级计算机将包含64个CS-3系统,提供高达8 exaFLOP的AI算力,为科研和工业领域的应用提供强大的支持。

 
反对 0举报 0 收藏 0 打赏 0评论 0
 
更多>同类资讯

头条阅读
推荐图文
相关资讯
网站首页  |  物流配送  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  RSS订阅  |  违规举报  |  京ICP备14047533号-2
Processed in 0.071 second(s), 11 queries, Memory 0.45 M