
快科技11月21日音讯,据媒体报谈,华为本日风雅发布Flex:ai AI容器软件。该居品的中枢阻挠在于期骗算力切分工夫开云体育(中国)官方网站,可将单张GPU/NPU算力卡缜密切分为多个造谣算力单位,最小粒度精确至10%。
这一调动使得单张算力卡莽撞同期承载多个AI职责负载,权贵莳植硬件资源利用率。
同期,Flex:ai莽撞将集群内各议论节点的酣畅XPU算力进行高效团聚,酿成融合的“分享算力池”,终了算力资源的全局和洽与机动分派。
其中枢工夫旨趣是一套深度交融软硬件的系统工程,笼罩从底层芯片到顶层和洽。通过调动性的软件工夫深度挖掘硬件后劲,Flex:ai得胜将GPU/NPU的典型利用率从30%-40%莳植至70%,有用践行了“以软件补硬件”的理念。
在硬件协同方面,Flex:ai深度整合华为自研的昇腾AI处理器,通过软硬件协同想象优化,终澄澈最好的性能功耗比。
相配在大模子检修场景中,Flex:ai通过软件层面的调动,终澄澈对包括英伟达GPU、昇腾NPU在内的多种异构算力资源的融合治理与和洽,有用惩处了面前大模子检修面对的算力领域瓶颈问题。
据悉,Flex:ai将在发布后同步开源在魔擎社区中,以促进工夫分享与生态发展。

【本文驱散】如需转载请务必注明出处:快科技
攀扯裁剪:鹿角开云体育(中国)官方网站
著述本色举报 ]article_adlist--> 声明:新浪网独家稿件,未经授权谢却转载。 -->