阿里云宣布第八代企业级实例g8i算力升级:可支

 新闻资讯     |      2024-01-12 05:01

  阿里云宣布第八代企业级实例g8i算力升级:可支持72B大模型1月11日,阿里云宣布第八代企业级通用计算实例ECSg8i算力再升级。国内首发代号Emerald Rapids的第五代英特尔至强可扩展处理器,依托阿里云自研的「飞天+CIPU」架构体系,ECS g8i实例的整机性能最高提升85%,AI推理性能最高提升7倍,可支撑高达72B参数的大语言模型。

  记者获悉,从关键参数上看,ECS g8i实例的L3缓存容量提升到320MB,内存速率5600MT/s,整机性能提升85%,单核性能提升25%;存储方面,ESSD云盘提供100万 IOPS,全面搭载NVMe,存储延迟低至百微秒;网络方面,PPS 3000万,标配阿里云eRDMA大规模加速能力,时延8微秒;安全方面,ECS g8i实例支持可信计算与加密计算等特性,支持机密虚拟机TDX技术。

  在E2E场景下,ECS g8i实例可将MySQL性能提升最高达60%,Redis和Nginx的性能分别提升40%和24%。此外,ECS g8i实例还提供了多种硬件原生加速能力,包括QAT和IAA等加速器。阿里云通过自研技术,将硬件加速能力更细颗粒度透传至实例虚拟机,小规格的ECS g8i实例也同样具备加速能力。其中,依托于QAT原生加解密加速器,ECS g8i实例在压缩/解压缩场景下性能最大可提升70倍,加解密性能提升4倍以上。

  与此同时,基于自研eRDMA超低延时弹性网络,阿里云g8i实例集群可支撑72B参数级别的大语言模型分布式推理,推理性能随集群规模接近线batchsize的超大参数规模的AI模型负载,运行文生图、AI生成代码、虚拟助手以及创意辅助工具等AI工作负载。

  据介绍,以阿里云通义千问开源的Qwen-72B大模型为例,可在g8i实例eRDMA网络构建的集群实现高效运行,在输入小于500字情况下,首包延时小于3秒,每秒可生成7个Token。(定西)

  改写历史!约基奇超越詹姆斯 史上最年轻13000+6000+4000球员诞生

  “宁王”正式发布凝聚态电池,午后涨超1%,电池50ETF(159796)拉升翻红,近10日中有9日实现资金净申购,合计超1.2亿元!

  董宇辉回应“企业家组团找自己学习”:像过年在长辈面前表演一样,已当面催他们补货

  1所停办,10所“民转公”,“五朵私花”等83所补录!成都小升初,私立还要不要考虑?

  之前喊小家伙吃饭的洗车店暖心大哥,收到了妈妈带着小家伙送来的肉,妈妈说很感谢大哥对孩子的温暖。

  小砂糖橘清亦回家后,还对“吉林的锅包肉念念不忘”爸爸做的好吃还是吉林的好吃小清亦:吉林的好吃。

  宝宝想吃水果,妈妈担心有点冰让等一会,结果宝宝直接坐在了地上,成功把妈妈逗笑了

  三星 Galaxy S24 Ultra 手机宣传物料曝光:支持多款光追游戏