清华团队开源“赤兔Chitu”推理引擎，晓谕突破英伟达“绑定”逆境

　　新浪科技讯 3月14日下昼音问，清华大学高性能筹算沟通所翟季冬解释团队与清华系创企清程极智麇集晓谕，大模子推理引擎“赤兔Chitu”正经开源。据悉，该引擎已毕在非英伟达Hopper架构GPU及各种国产芯片上原生运转FP8精度模子，突破“硬件绑定”逆境，为国产AI芯片的无为欺骗和生态开发带来了新的突破。

　　DeepSeek的发展鞭策了FP8精度模子成为行业主流，跟着DeepSeek的捏续火热， 企业大模子荒谬化部署的需求也呈现井喷态势。可是，面前民众擢升的FP8模子长期依赖英伟达H系列高端GPU，这使得国内企业在部署大模子时受限于AI芯片供应获取的适度。

　　据悉，这次开源的“赤兔”推理引擎通过底层手艺改良，初次已毕了非H卡开采（包括英伟达Hopper架构之前的GPU卡及各种国产卡）对原生FP8模子的高效部署，开脱对特定硬件的依赖，裁减了企业部署AI模子的门槛和资本。

　　在首期开源版块中，赤兔引擎部署DeepSeek-R1-671B满血版时，在A800集群的测试中，比较部分海外开源框架，GPU使用量减少50%的情况下推理速率仍有3.15倍提速。这意味着企业不错用更少的硬件资源赢得更高的推感性能，极大裁减了部署门槛和运营资本。况且，在匡助企业降本增效的同期，赤兔引擎的手艺可已毕模子成果不受损。

　　当今，赤兔引擎主张建树隐蔽从纯CPU到大界限集群的全场景大模子部署需求，适配英伟达多款GPU及多款国产芯片。为匡助企业提供开箱即用的部署决策及专科运维就业，清程极智还推出了基于赤兔的“推理一体机”，进一步简化企业AI落地经由。  

　　清华大学翟季冬解释强调，赤兔凝结了团队多年并行筹算与编译优化手艺积存，主张是“弥合先进模子与各种化硬件之间的差距，让国产算力真确‘跑起来’，为中国大模子产业落地提供谬误撑捏”。清程极智CEO汤雄超暗示：“赤兔的定位是成为邻接多元算力与大模子欺骗的桥梁。咱们不仅支捏英伟达全系列GPU，还针对国产芯片深度优化，以前将持续开源适配版块。”（文猛）

海量资讯、精确解读，尽在新浪财经APP

职守剪辑：刘万里 SF014