網(wǎng)上營業(yè)廳
掌上營業(yè)廳
近日，中國電信研究院聯(lián)合中科院計算所、華為昇騰、沐曦等產(chǎn)業(yè)伙伴，依托中國電信云網(wǎng)融合技術中試驗證平臺，成功完成業(yè)界首個面向國產(chǎn)算力的跨架構(gòu)大模型推理技術驗證。此次突破構(gòu)建了基于Triton的異構(gòu)大模型推理框架，實現(xiàn)“一套框架代碼、三芯透明遷移”的核心目標，將大模型算子適配周期從“周級”壓縮至“天級”，性能達到原生算子庫90%。
當前，國產(chǎn)芯片生態(tài)碎片化、算力開發(fā)難度高、適配周期長等問題，已成為制約國產(chǎn)算力規(guī)?；逃玫年P鍵瓶頸。為破解這一行業(yè)痛點，中國電信研究院牽頭啟動“Triton統(tǒng)一跨架構(gòu)推理框架”技術攻關，成功突破三大核心技術：一是自研Triton跨架構(gòu)編譯器與統(tǒng)一大模型算子庫，實現(xiàn)同一套算子源碼在英偉達、昇騰、沐曦三類芯片上無縫運行，從根源上解決多架構(gòu)適配難題；二是創(chuàng)新研發(fā)vLLM-Triton運行時透明嵌入插件，采用零侵入式接入方式，完整繼承原生調(diào)度、內(nèi)存管理及量化策略，保障框架兼容性與穩(wěn)定性；三是打造圖算融合編譯器，通過多芯聯(lián)合優(yōu)化計算圖，自動匹配最優(yōu)算子實現(xiàn)方案與并行切分策略，將性能損耗嚴格控制在10%以內(nèi)。
本次技術驗證已完成10余款主流開源模型在三類芯片上的端到端推理測試，核心指標表現(xiàn)優(yōu)異：平均遷移時間≤3天，較傳統(tǒng)適配模式效率提升超80%；精度誤差<0.5%，確保模型推理可靠性；在同等延遲約束下，系統(tǒng)吞吐達到各芯片原生算子庫的90%以上，實現(xiàn)性能與適配效率的雙重優(yōu)化。此外，框架內(nèi)置的benchmark與Profiling工具可一鍵生成跨芯性能對比報告，為業(yè)務方提供直觀、精準的選芯決策支撐。
作為支撐本次驗證的核心平臺，中國電信云網(wǎng)融合技術中試驗證平臺入選國資委央企中試平臺名錄，現(xiàn)已對外開放20余項中試驗證服務能力，憑借其優(yōu)質(zhì)智算資源與靈活組網(wǎng)能力，構(gòu)建了業(yè)界領先的異構(gòu)推理試驗環(huán)境，為技術突破提供了關鍵保障，標志著國產(chǎn)算力生態(tài)正式從“一芯一策”的分散適配模式，邁入“統(tǒng)一框架”的高效協(xié)同新階段，大幅降低了國產(chǎn)芯片的應用門檻。
未來，中國電信將持續(xù)拓展Triton異構(gòu)推理框架的適配范圍，覆蓋更多算力芯片與大模型類型，與產(chǎn)業(yè)伙伴攜手共建“代碼一次編寫、多芯無縫遷移”的開放生態(tài)。通過技術創(chuàng)新推動國產(chǎn)算力從“可用”向“好用”“易用”跨越，為自主可控、多元異構(gòu)的算力基礎設施高質(zhì)量協(xié)同發(fā)展注入強勁動力，助力我國數(shù)字經(jīng)濟核心產(chǎn)業(yè)自主化進程。
