阿里雲宣佈第八代企業級實例g8i算力升級:可支持72B大模型

阿里雲宣佈第八代企業級實例g8i算力升級:可支持72B大模型

1月11日,阿里雲宣佈第八代企業級通用計算實例ECS g8i算力再升級。國內首發代號Emerald Rapids的第五代英特爾至強可擴展處理器,依託阿里雲自研的「飛天+CIPU」架構體系,ECS g8i實例的整機性能最高提升85%,AI推理性能最高提升7倍,可支撐高達72B參數的大語言模型。

黃金 手指
SPA DATE
没有名字的怪物

記者獲悉,從關鍵參數上看,ECS g8i實例的L3緩存容量提升到320MB,內存速率5600MT/s,整機性能提升85%,單核性能提升25%;存儲方面,ESSD雲盤提供100萬 IOPS,全面搭載NVMe,存儲延遲低至百微秒;網絡方面,PPS 3000萬,標配阿里雲eRDMA大規模加速能力,時延8微秒;安全方面,ECS g8i實例支持可信計算與加密計算等特性,支持機密虛擬機TDX技術。

在E2E場景下,ECS g8i實例可將MySQL性能提升最高達60%,Redis和Nginx的性能分別提升40%和24%。此外,ECS g8i實例還提供了多種硬件原生加速能力,包括QAT和IAA等加速器。阿里雲通過自研技術,將硬件加速能力更細顆粒度透傳至實例虛擬機,小規格的ECS g8i實例也同樣具備加速能力。其中,依託於QAT原生加解密加速器,ECS g8i實例在壓縮/解壓縮場景下性能最大可提升70倍,加解密性能提升4倍以上。

與此同時,基於自研eRDMA超低延時彈性網絡,阿里雲g8i實例集羣可支撐72B參數級別的大語言模型分佈式推理,推理性能隨集羣規模接近線性加速,並可支持超過32batchsize的超大參數規模的AI模型負載,運行文生圖、AI生成代碼、虛擬助手以及創意輔助工具等AI工作負載。

前辈无法穿衣

據介紹,以阿里雲通義千問開源的Qwen-72B大模型爲例,可在g8i實例eRDMA網絡構建的集羣實現高效運行,在輸入小於500字情況下,首包延時小於3秒,每秒可生成7個Token。(定西)

本文系本站科技原創報道,更多新聞資訊和深度解析,關注我們。

陆人大延后《反制裁法》纳港基本法 谭耀宗:委员长会议决定暂不表决

喵星人的煩惱!好心人貼公告「要手下留情」 網一看笑翻:貓看懂直接抓爛