北京2025年9月28日 /美通社/ -- 9月26日,在2025人工智能計(jì)算大會(huì)上,浪潮信息公布,基于元腦SD200超節(jié)點(diǎn)AI服務(wù)器,DeepSeek R1大模型token生成速度僅需8.9毫秒,創(chuàng)造國(guó)內(nèi)大模型最快token生成速度;而最新發(fā)布的元腦HC1000超擴(kuò)展AI服務(wù)器,實(shí)現(xiàn)每百萬(wàn)token成本首次擊破1元。浪潮信息對(duì)AI計(jì)算架構(gòu)的持續(xù)創(chuàng)新,旨在解決智能體產(chǎn)業(yè)化面臨的交互速度和token成本兩大瓶頸,為多智能體協(xié)同與復(fù)雜任務(wù)推理的規(guī)?;涞兀峁└咚俣?、低成本的算力基礎(chǔ)設(shè)施。
隨著Scaling Law持續(xù)推動(dòng)模型能力躍升,以DeepSeek為代表的開(kāi)源模型極大的降低了創(chuàng)新門檻,加速智能體產(chǎn)業(yè)化的到來(lái)。智能體產(chǎn)業(yè)化的核心三要素是能力、速度和成本。其中模型能力決定了智能體的應(yīng)用上限,交互速度決定了智能體的商業(yè)價(jià)值,token成本決定了智能體的盈利能力。
僅需8.9毫秒!元腦SD200引領(lǐng)token生成速度率先進(jìn)入"10毫秒時(shí)代"
浪潮信息最新公布,基于元腦SD200超節(jié)點(diǎn)AI服務(wù)器運(yùn)行DeepSeek R1大模型,單token生成速度低至8.9毫秒,帶動(dòng)國(guó)內(nèi)AI服務(wù)器token生成速度率先進(jìn)入"10毫秒時(shí)代"。
元腦SD200基于創(chuàng)新研發(fā)的多主機(jī)低延遲內(nèi)存語(yǔ)義通信架構(gòu),在單機(jī)內(nèi)實(shí)現(xiàn)了64路本土AI芯片的高速統(tǒng)一互連,單機(jī)可承載4萬(wàn)億參數(shù)單體模型,或部署多個(gè)萬(wàn)億參數(shù)模型組成的智能體應(yīng)用,實(shí)現(xiàn)多模型協(xié)同執(zhí)行復(fù)雜任務(wù)。為實(shí)現(xiàn)極低的通信延遲,元腦SD200采用精簡(jiǎn)高效的三層協(xié)議棧,原生支持多種內(nèi)存語(yǔ)義操作,避免冗余數(shù)據(jù)拷貝,將基礎(chǔ)通信延遲降至百納秒級(jí),硬件化鏈路層重傳與分布式預(yù)防式流控進(jìn)一步適配高吞吐、低延遲的 AI 推理場(chǎng)景。
元腦HC1000,推理成本首次擊破1元/每百萬(wàn)token
浪潮信息重磅發(fā)布元腦HC1000超擴(kuò)展AI服務(wù)器,基于全新開(kāi)發(fā)的全對(duì)稱DirectCom極速架構(gòu),無(wú)損超擴(kuò)展設(shè)計(jì)聚合海量本土AI芯片、支持極大推理吞吐量,推理成本首次擊破1元/每百萬(wàn)token,為智能體突破token成本瓶頸提供極致性能的創(chuàng)新算力系統(tǒng)。
元腦HC1000通過(guò)全面優(yōu)化降本和軟硬協(xié)同增效,創(chuàng)新16卡計(jì)算模組設(shè)計(jì)、單卡"計(jì)算-顯存-互連"均衡設(shè)計(jì),大幅降低單卡成本和每卡系統(tǒng)分?jǐn)偝杀?。同時(shí),全對(duì)稱的系統(tǒng)拓?fù)湓O(shè)計(jì)支持超大規(guī)模無(wú)損擴(kuò)展。據(jù)測(cè)算,元腦HC1000通過(guò)算網(wǎng)深度協(xié)同、全域無(wú)損技術(shù),實(shí)現(xiàn)推理性能相比傳統(tǒng)RoCE提升1.75倍,單卡模型算力利用率最高提升5.7倍。
未來(lái),智能體帶來(lái)的推理算力需求將呈現(xiàn)出指數(shù)級(jí)的爆發(fā)式增長(zhǎng)。浪潮信息將通過(guò)軟硬件協(xié)同設(shè)計(jì)與深度優(yōu)化,持續(xù)推動(dòng)AI計(jì)算架構(gòu)的創(chuàng)新與突破,不斷實(shí)現(xiàn)token生成"提速降本",積極促進(jìn)大模型、智能體等人工智能技術(shù)與實(shí)體經(jīng)濟(jì)的深度融合,讓人工智能成為千行百業(yè)的生產(chǎn)力和創(chuàng)新力。