浪潮計算機(jī)快速響應(yīng)用戶需求和大模型開源生態(tài),聯(lián)合國內(nèi)AI算力廠商,推出基于DeepSeek模型的“推理一體機(jī)”,以“軟硬協(xié)同”的完整方案,幫助企業(yè)擺脫復(fù)雜部署難題,實現(xiàn)DeepSeek全系列模型“即插即用”和大模型本地化,助力生產(chǎn)力有效轉(zhuǎn)換。
作為面向大模型場景設(shè)計的旗艦級產(chǎn)品,浪潮創(chuàng)新技術(shù)服務(wù)器NF5468H7深度融合DeepSeek全系列模型與國內(nèi)AI加速卡,打造“開箱即用”的智算解決方案:
1 全模型覆蓋:全面兼容DeepSeek V3(通用底座)、R1(推理優(yōu)化)、Janus Pro(多模態(tài))等系列模型,支持智能客服與對話、文本分析、工業(yè)質(zhì)檢、醫(yī)療影像識別等場景快速適配。
2 硬件性能躍升:搭載國內(nèi)AI算力產(chǎn)品,單卡FP16算力達(dá)到主流水平,支持FP32/FP16混合精度加速,單機(jī)即可完成百億級參數(shù)模型的實時推理。
3 軟硬協(xié)同優(yōu)化:基于國內(nèi)AI 加速卡深度定制CUDA兼容層,實現(xiàn)模型算子的定制優(yōu)化,由此能夠支持基于DeepSeek的量化及分布式推理,滿足對DeepSeek系列多類型模型的多并發(fā)推理業(yè)務(wù)需求。
此次發(fā)布的“推理一體機(jī)”并非簡單的“硬件堆砌”,而是通過浪潮計算機(jī)inAIP智能引擎實現(xiàn)從底層算力到上層模型的全局協(xié)同,為企業(yè)提供三大差異化價值:
1 快速交付:傳統(tǒng)大模型部署需經(jīng)歷硬件調(diào)試、框架適配、算子優(yōu)化等漫長流程,一體機(jī)結(jié)合inAIP自動化配置工具,可實現(xiàn)低代碼部署與場景化模板,即3小時完成從開機(jī)到推理服務(wù)上線。
2 高 效利用:通過對AI算力的智能切割與動態(tài)調(diào)度,單機(jī)可同時承載多負(fù)載實時推理、數(shù)據(jù)預(yù)處理任務(wù)。能夠?qū)崿F(xiàn)資源池化,將8卡AI加速卡集群虛擬化為多份算力單元,按需分配至不同業(yè)務(wù)線程,使硬件利用率提升至92%。
3 極簡運(yùn)維:提供從硬件狀態(tài)到模型服務(wù)的全??梢暬芾?。并支持健康自檢,實時監(jiān)控加速卡溫度、顯存占用等指標(biāo),此種預(yù)測性維護(hù)提示能夠降低30%宕機(jī)風(fēng)險。