英特尔MLPerf v6.1成绩出炉:软件优化推动 AI 推理性能飞跃
在MLCommons最新发布的英特优化MLPerf Inference v6.1成绩中,英特尔重点展示了如何通过软件优化,成绩出炉大幅提升英特尔® 至强® 6处理器和英特尔锐炫™ Pro B系列GPU的软件AI推理性能。这些成绩的推动推理背后,同样体现了客户和生态伙伴日益深入的飞跃参与,越来越多的英特优化系统选择在英特尔平台上完成验证,覆盖更多模型、成绩出炉更多工作负载以及更丰富的软件部署场景。
在与MLPerf v6.0测试相同的推动推理芯片和插槽配置下,英特尔® 至强® 6980P处理器在Llama 3.1 8B Server测试中实现了2.4倍的飞跃吞吐量提升,Offline测试中实现了56%¹的英特优化吞吐量提升。值得一提的成绩出炉是,这些性能提升全部来源于软件层面的软件优化。这充分说明了,推动推理通过持续的飞跃软件创新,客户无需更换已部署的硬件平台,也能获得更高性能。英特尔的生态伙伴也展现出同样强劲的势头。
英特尔数据中心事业部数据中心软件副总裁Bill Pearson表示:“MLPerf Inference v6.1结果表明,持续的软件优化,能让客户从已部署的硬件中释放出更为强劲的性能。我们正在不断强化至强和锐炫 Pro的全栈AI软件能力,同时扩大平台所支持的模型、工作负载及系统的范围。”
随着AI推理进入实际部署阶段,客户需要的计算平台,不仅要能支持更大规模、更多样化的模型,还要能在长期使用中持续提升性能,带来更好的灵活性与价值。英特尔在MLPerf Inference v6.1中的结果证明,软件优化可以进一步释放已部署基础设施的有效性能,帮助客户从现有系统中挖掘更多价值,并在CPU与GPU算力之间实现横向扩展。
客户与合作伙伴在英特尔平台上的参与情况也有所提升,从v6.0的29项结果增至v6.1的39项,第三方验证不再局限于英特尔自身提交的结果²。其中,甲骨文(Oracle)首次提交了基于英特尔平台的结果;红帽(Red Hat)首次提交了至强 CPU 的推理结果;广达云科技(Quanta Cloud Technology)与超微(Supermicro)则提交了首批采用英特尔锐炫Pro B70 的合作伙伴测试数据。
英特尔至强6测试结果:在MLPerf v6.1中,英特尔进一步扩大了至强处理器的测试范围。参加测试的至强6 SKU从v6.0的2款增至5款,CPU推理测试数量也从24项增加到35项。与此同时,至强依然是MLPerf Inference测试中唯一以独立服务器CPU完成提交的平台。
英特尔锐炫Pro B70测试结果:锐炫的测试结果进一步显示了,软件优化对提升AI 模型性能的作用。由四块英特尔锐炫Pro B70 GPU组成的单节点系统,可提供128GB显存,并完成了Llama 3.1 8B、Llama 2 70B、gpt-oss-120B、Whisper以及端到端检索增强生成(E2E-RAG)等多种模型和应用场景的测试提交。在与MLPerf Inference v6.0相同的四卡系统配置下,gpt-oss-120B Server场景性能提升36%,Offline场景性能提升27%,充分体现出英特尔软件栈持续优化带来的性能收益3。
全新E2E-RAG基准测试:英特尔参与联合开发了全新的MLPerf Inference v6.1端到端检索增强生成(E2E-RAG)基准测试,并提交了测试成绩。作为本轮测试中最复杂的全新工作负载之一,测试系统在单次运行中配备了一台英特尔至强6787P处理器和四块英特尔锐炫Pro B70 GPU,并将工作负载拆分给CPU和GPU,各自处理AI流水线的不同阶段:至强处理器负责嵌入、重排序、向量搜索和小语言模型;锐炫 Pro B70 GPU则负责大语言模型的生成。这一结果清晰展示出,经过优化的CPU与GPU可以在完整的AI工作流中高效协同。
英特尔的优化并未止步于基准测试。至强处理器的各项优化成果,正不断被纳入主流AI框架,让客户无需更改现有的基础设施,就能直接享受到软件改进带来的提升。同时,对英特尔锐炫Pro B70的优化,也将进一步推动未来英特尔GPU在内核、框架及推理服务栈上的演进。
- ·王祖贤在加拿大开艾灸馆 600元一小时
- ·总投资超60亿、年接待游客七八十万人!益阳宇艺木国景区开拓根雕文化研学新路径
- ·中超当热爱沦为戾气与对抗,我们到底需要怎样的看台文化
- ·Mac mini性价比神机没了:苹果疯狂涨价 起步就是6999元
- ·西贝的玩笑又开大了,带一岁宝宝吃西贝的女子,是西贝老板的女儿
- ·湿地变绿了,日子变好了,“绿水青山就是金山银山”在这里具象化了
- ·别家SSD保内都拒换!西部数据过保也免费换:还把480GB升级到2TB
- ·贡多齐欧冠赛后高喊马赛加油挑衅里昂球迷,险遭里昂门将教练飞踹
- ·焊死!2026款Mac mini存储无法升级:苹果彻底堵死扩容路
- ·FC世界足球体验服最新版下载
- ·赛博朋克像素风肉鸽《霓虹深渊2》科隆展宣布秋季全平台上线!
- ·苹果秋季发布会定档:科技盛会提前揭秘
- ·报告称特斯拉车龄5年报废比例近19%:仅低于20年的老车
- ·三分球大赛单机版手游下载
- ·北方迎强降水和强对流天气:局地累计雨量超300毫米
- ·三分球大赛单机版手游下载
- ·机械革命耀世Air官宣:1.65kg机身塞下RTX 5070
- ·HBM混合键合凉了!三星、SK海力士急刹车:HBM4用不上 HBM5也悬
- ·陶德爆料:《辐射》第三季将解锁游戏的神秘新地图!
- ·费城加入詹姆斯争夺战?曝76人有意在自由市场追求詹姆斯
- ·猛龙拒绝执行内线新星的球队选项,他在NBA的前景令人担心?
- ·腾讯WorkBuddy首发接入混元Hy3大模型:限时免费!适配办公全场景
- ·Shams:马刺与托拜厄斯
- ·詹姆斯去火箭?专家:休城急需球商+组织能力,联手杜兰特太适合
- ·一图看懂荣耀MagicOS 7月大升级:YOYO支持一语微信 动效更丝滑
- ·RTX 3060 12GB重新上架电商平台!与五年前首发价一致