全球人工智能算力芯片龙头英伟达周二宣布,推出专为长上下文工作负载设计的专用GPU Rubin CPX,用于翻倍提升当前AI推理运算的工作效率 ,特别是编程、视频生成等需要超长上下文窗口的应用。
英伟达CEO黄仁勋表示,CPX是首款专为需要一次性处理大量知识(数百万级别tokens),并进行人工智能推理的模型而构建的芯片 。
需要说明的是 ,Rubin就是英伟达将在明年发售的下一代顶级算力芯片,所以基于Rubin的CPX预计也要到2026年底出货。下一代英伟达旗舰AI服务器的全称叫做NVIDIA Vera Rubin NVL144 CPX——集成36个Vera CPU 、144块Rubin GPU和144块Rubin CPX GPU。
(NVIDIA Vera Rubin NVL144 CPX机架与托盘,来源:公司博客)
英伟达透露 ,搭载Rubin CPX的Rubin机架在处理大上下文窗口时的性能,能比当前旗舰机架GB300 NVL72高出最多6.5倍 。
据悉,下一代旗舰机架将提供8exaFLOPs的NVFP4算力 ,比GB300 NVL72高出7.5倍。同时单个机架就能提供100TB的高速内存和1.7PB/s的内存带宽。
言归正传,英伟达之所以要在Rubin GPU边上再配一块Rubin CPX GPU,自然是为了显著提升数据中心的算力效率——用户购买英伟达的芯片将能赚到更多的钱 。英伟达表示 ,部署价值1亿美元的新芯片,将能为客户带来50亿美元的收入。
为何需要两个GPU?
作为行业首创之举,英伟达的新品在硬件层面上分拆了人工智能推理的计算负载。
英伟达介绍称,推理过程包括两个截然不同的阶段:上下文阶段与生成阶段 ,两者对基础设施的要求本质上完全不同 。
上下文阶段属于计算受限(compute-bound),需要高吞吐量的处理能力来摄取并分析大量输入数据,从而生成首个输出token。相反 ,生成阶段则属于内存带宽受限(memory bandwidth-bound),依赖高速的内存传输和高带宽互联(如 NVLink),以维持逐个token的输出性能。
当前顶级的GPU都是为了内存和网络限制的生成阶段设计 ,配备昂贵的HBM内存,然而在解码阶段并不需要这些内存 。因此,通过分离式处理这两个阶段 ,并针对性地优化计算与内存资源,将显著提升算力的利用率。
据悉,Rubin CPX专门针对“数百万tokens”级别的长上下文性能进行优化 ,具备30petaFLOPs的NVFP4算力、128GB GDDR7内存。
英伟达估计,大约有20%的AI应用会“坐等 ”首个token出现。例如解码10万行代码可能需要5-10分钟 。而多帧、多秒的视频,预处理和逐帧嵌入会迅速增加延迟,这也是为什么当前的视频大模型通常仅用于制作短片。
英伟达计划以两种形式提供Rubin CPX ,一种是与Vera Rubin装在同一个托盘上。对于已经下单NVL144的用户,英伟达也会单独出售一整个机架的CPX芯片,数量正好匹配Rubin机架 。
(文章来源:财联社)
炒股如何开杠杆:网上股票开户怎么开通-国泰君安国际首家拿牌!股价翻倍 市场沸腾 一张虚拟资产交易牌究竟意味什么?
怎么办理加杠杆炒股:怎么开通股票t+0账户-稳定币概念股频掀涨停潮:香港金管局入场“降温” 专家提醒不要跟风炒作
股票账户开户网上开户流程:杠杆买股票什么意思-苹果代码意外泄露多款产品芯片升级计划
电脑版股票软件排行榜前十名:比较靠谱的股票app-中兴通讯大爆发!资深大佬强CALL 发生了什么?
怎么看杠杆炒股方法:股票炒股股票开户流程-特斯拉开通“TeslaAI”的官方微博 并发布首条微博展示其人形机器人
免费哪个股票软件好:新手怎么开户股票账户-券商科创债发行爆发式增长:30家机构抢滩 千亿元资金涌入硬科技
启泰网官网-杠杆炒股-实盘配资APP下载 | 十大实盘配资平台提示:文章来自网络,不代表本站观点。
记者辛圆3月25日,博鳌亚洲论坛旗舰报告《亚洲经济前景及一体化进程2025年度报告》(以下简称《报告》...
记者王珍中国国际经济交流中心副理事长、国务院发展研究中心原副主任王一鸣周一在“中国发展高层论坛2025...
记者|赵阳戈年初,证监会就修改《证券发行与承销管理办法》部分条款向社会公开征求意见,市场也将注意力投向了...
2025年3月24日下午三点A股收盘后,港股科技板块持续走强至四点十分收盘。消息面上,一方面美元相对于人民币连续3个交易...
2025年3月25日,倍轻松(688793.SH)公告称,公司股东宁波倍松投资有限公司(简称“宁波倍松”)拟通过大宗交易...
3月24日,海洋王照明科技股份有限公司(以下简称“海洋王”,002724.SZ)早盘一字跌停,此后股价拉涨,尾盘封涨停板...
3月24日,易方达国证自由现金流ETF公开发售。该产品跟踪国证自由现金流指数,这个指数是什么?有哪些优势?投资价值如何?...
文/吴治邦3月24日早盘,在2024年年底压哨实施完毕重整计划的*ST花王股价继续跌停。自2025年1月...
记者辛圆给补贴、建平台,为了吸引更多高层次人才,各地纷纷放出“大招”。据央广网周一发布消息,湖...
界面新闻记者|龙力开年两个多月,不少头部量化私募都在积极“上新”。Wind数据显示,截至3月17日,...
沪深两市成交额连续第44个交易日突破1万亿,较昨日此时缩量超900亿。...
国海富兰克林基金国富深化价值基金经理刘晓日前发表了对 2025 年市场的展望。刘晓指出,国内经济正处于复苏通道,市场大幅...
近日,开源证券大连分公司遭大连证监局处罚,暂停其办理需要合格投资者认定相关业务六个月。该惩处力度在近年来券商分支机构中并...
3月12日,汇丰发布对于中国投资市场的最新观点。汇丰环球私人银行及财富管理中国首席投资总监匡正表示,DeepSe...
记者闫桂花 王珍中国社会科学院学部委员、中国社会科学院原副院长高培勇周日在“中国发展高层论坛2025年...