欧美日韩亚洲另类小说|日韩AV女优绳艺精品无码|国产无码一卡二卡三卡91|亚州一区二区在线影院|国内三级片久久久久久福利|91AV久久偷拍视频

積算科技上線赤兔推理引擎服務(wù),創(chuàng)新解鎖FP8大模型算力

2025-07-30 16:25 1271

北京2025年7月30日 /美通社/ -- 近日,北京積算科技有限公司(以下簡稱"積算科技")宣布其算力服務(wù)平臺上線赤兔推理引擎。積算科技PowerFul-AI應(yīng)用開發(fā)平臺與赤兔合作,打造高性價比的模型輕量化部署方案。用戶通過遠(yuǎn)程算力平臺預(yù)置的模型鏡像與AI工具,僅需50%的GPU算力即可解鎖大模型推理、企業(yè)知識庫搭建、智能體開發(fā),加速大模型在智能問答、報告生成、客服助手、智能體等典型行業(yè)場景的落地。


赤兔推理引擎由北京清程極智科技有限公司(以下簡稱"清程極智")開發(fā),并聯(lián)合清華大學(xué)團(tuán)隊發(fā)布開源版本。其核心價值在于,打破了FP8模型原生部署時GPU必須支持FP8精度的要求。通過底層算子優(yōu)化(如GeMM、MoE的指令級重構(gòu))和編譯技術(shù)創(chuàng)新,赤兔早在今年三月即首次實現(xiàn)在非FP8精度卡上原生運(yùn)行FP8高精度模型,并確保推理過程幾乎零精度損失。

積算科技聯(lián)合清程極智,完成了赤兔推理引擎在積算科技PowerFul-AI應(yīng)用開發(fā)平臺上的驗證測試。測試結(jié)果表明,赤兔推理引擎在積算科技PowerFul-AI平臺上運(yùn)行穩(wěn)定、性能表現(xiàn)優(yōu)異,滿足雙方兼容性認(rèn)證的各項標(biāo)準(zhǔn),能夠快速完成DeepSeek、Qwen等大模型推理部署,并支持基于非FP8精度GPU卡實現(xiàn)FP8模型部署,相比于使用BF16精度部署,GPU算力需求減半。以部署DeepSeek-R1-671B為例,原需4臺8卡機(jī)2560GB顯存,現(xiàn)僅需2臺8卡機(jī)1280GB顯存即可滿足要求。

積算科技PowerFul-AI平臺攜手赤兔推理引擎,將為AI大模型應(yīng)用開發(fā)打造"成本減半、零性能損耗"的解決方案,提供構(gòu)建企業(yè)知識庫開發(fā)、智能體搭建等功能,助力企業(yè)用戶靈活快速構(gòu)建大模型通用應(yīng)用及個性化端到端解決方案。

PowerFul-AI是積算科技的大模型應(yīng)用落地解決方案,能夠為AI大模型落地應(yīng)用提供高效、易用、安全的端到端開發(fā)平臺,幫助企業(yè)及科研機(jī)構(gòu)高效開發(fā)部署AI大模型應(yīng)用。目前,PowerFul-AI已經(jīng)全面適配DeepSeek R1、DeepSeek V3等模型。用戶只需選擇鏡像和模型文件,并配置模型所需的算力資源,即可快速完成模型部署,實現(xiàn)DeepSeek的"分鐘級"上線。

積算科技誕生于全球生成式AI浪潮,專注于智能算力服務(wù)市場,致力于成為中國最具價值的智能算力服務(wù)商,聚焦互聯(lián)網(wǎng)、運(yùn)營商、高校、新能源汽車等領(lǐng)域的多家頭部客戶提供算力服務(wù)。公司擁有萬卡級先進(jìn)智能算力資源池,提供裸金屬、智能算力系統(tǒng)、專屬智能算力系統(tǒng)等算力服務(wù)產(chǎn)品,適用于大模型訓(xùn)練與推理、算法研究、大數(shù)據(jù)分析、自動駕駛、智能科學(xué)計算等多元場景。其運(yùn)維和服務(wù)團(tuán)隊具備大規(guī)模智能算力系統(tǒng)設(shè)計建設(shè)、大模型開發(fā)應(yīng)用及性能優(yōu)化能力,可提供全棧大模型應(yīng)用開發(fā)服務(wù)支持,并根據(jù)客戶需求提供靈活服務(wù)模式。

消息來源:積算科技
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動態(tài)、財報信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection