AI热点 2小时前 166 浏览次数 0 评论

英特尔升级多显卡 AI 推理,Battlematrix 整体性能最高提升 80%

AI中国
AI中国

发布了 8759 文章

IT之家 8 月 12 日消息,科技媒体 WccfTech 昨日(8 月 11 日)发布博文,报道称英特尔为其锐炫 Pro 系列 GPU 的 Battlematrix 项目,发布首个重磅软件更新 LLM Scaler v1.0,重点优化了 AI 推理能力。

IT之家曾于 5 月报道,英特尔在 COMPUTEX 2025 台北国际电脑展上,推出锐炫 Arc Pro B50 和 B60 两张显卡之外,还推出了 Project Battlematrix 推理工作站平台,支持最多 8 张锐炫 Pro 显卡并具备软件包支持,能运行高达 150B 参数的中等规模且精度高的 AI 模型。

Battlematrix 平台集成硬件与定制化软件栈,优化推理性能和企业部署体验;而 LLM Scaler 是基于 vLLM 框架开发的 AI 大模型推理容器,支持多 GPU 扩展、长序列高效推理及多模态任务。

LLM Scaler v1.0 重点优化了 vLLM 推理框架,对于 32B KPI 模型,40K 序列长度下性能提升可达 1.8 倍;70B KPI 模型同条件下提升高达 4.2 倍,8B 至 32B 规模模型输出吞吐量较上版提升约 10%。

该版本还引入分层在线量化,有效降低显存占用,并支持管道并行、数据并行、多模态模型及嵌入、重排序等功能,提升模型适应性与扩展性。

为便于企业级运维,LLM Scaler v1.0 集成了 XPU Manager 工具,支持 GPU 电源管理、固件升级、诊断及显存带宽检测。

新容器基于 Linux 平台,充分利用多 GPU 扩展和 PCIe 点对点数据传输,实现最高 80% 的整体性能提升,系统同时具备 ECC、SRIOV、遥测与远程固件更新等可靠性与可管理性特性,满足企业级部署需求。

英特尔强调,新软件栈遵循行业标准,兼容主流开发流程,OneCCL 基准测试工具的集成也为开发者调优和性能评测提供了便利,进一步丰富了 Battlematrix 平台的生态支持。

根据英特尔路线图,本季度内还将发布更为稳固的容器版本,进一步优化 vLLM 服务能力。预计到今年第四季度,Battlematrix 项目将实现全功能版本落地,推动大模型推理平台的持续升级,为专业领域用户带来更高效、更易用的 AI 解决方案。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

AI中国

AI中国

8759 文章 1409409 浏览次数 950300 粉丝

评论 (0)

睡觉动画