您好,欢迎访问江南网站!

集团动态

联系江南

江南
联系人:杜经理
手机:18755199984
电话:0551-82601881
邮箱:sale.zcjd@qq.com
地址:合肥市巢湖市团结路与东塘路交口东方国际大厦8层
江南首页>>江南新闻>>集团动态>>江南-生成式人工智能(GenAI)——帮助优化全球功率最密集的计算应用

江南-生成式人工智能(GenAI)——帮助优化全球功率最密集的计算应用

发布日期:2024-09-16 作者:江南

练习生成式人工智能(GenAI)神经收集模子凡是需要破费数月的时候,数千个基在GPU并包括数十亿个晶体管的处置器、高带宽SDRAM和每秒数太比特的光收集互换机要同时持续运行。固然人工智能有望带来人类出产力的奔腾,但其运行时能耗庞大,所以致使温室气体的排放也显著增添。 据《纽约时报》报导,到2027年,人工智能办事器每一年的用电量将到达85至134太瓦时,年夜致相当在阿根廷一年的用电量。 为了应对日趋加重的能耗挑战,AI处置器的供电收集履历了多代的成长。这类周全的演进成长触及电路架构、电源转换拓扑、材料科学、封装和机械/热工程方面的立异。 生成式人工智能练习处置器的供电方案负载点模式和分比式模式的演化: 从2020年到2022年,热设计功率(TDP)几近翻了一番,从400W增添到了700W。TDP指标是指生成式人工智能练习利用中GPU引擎的持续功耗。自2022年起,半导体行业的TDP程度不竭爬升,到了2024年3月,市场上乃至呈现了一款TDP高达1000W的GPU。 图1:基在GPU的生成式人工智能练习处置器芯片复合体,加快器模块(AM)上安装有高带宽存储器(HBM) 用在生成式人工智能练习的处置器复合体集成了一个GPU或ASIC芯片,和六到八个高带宽存储器(HBM)芯片。采取4纳米CMOS 工艺的GPU凡是以0.65V的内核VDD运行,可能包括1000亿或更多的晶体管。HBM供给144GB的存储容量,其工作电压通常是1.1V或1.2V。该处置器的一个要害供电特征与人工神经收集算法负载有关。对照处在余暇状况的GPU和算法满载状况的GPU,瞬态电流耗损(dI/dt)不同可能很是年夜,可能到达每微秒2000安培或更多。另外,该处置器不克不及容忍较年夜的电源电压下冲或过冲幅值;这些负载阶跃瞬变必需限制在标称VDD的10%之内。设计用在生成式人工智能练习处置器的供电解决方案时,因为这些动态操作前提的缘由,峰值电流输送能力凡是设计为持续电流输送能力的两倍,峰值事务凡是延续数十毫秒(图1)。 对CPU、FPGA、收集互换机处置器和此刻的AI练习和推理芯片成长最主要的供电架构是负载点(PoL)方式。相较在传统的多相并联电源架构,分比式PoL电源架构实现了更高的功率和电流密度。这类电源架构鉴戒了抱负变压器的“匝数比”概念,经由过程分压实现电流倍增。电流倍增的可扩大性使我们可以或许按照分歧的输出电压和电流需求,开辟一系列周全的PoL转换器。这对客户来讲相当主要,由于高级AI练习处置器的需求正快速转变。 图2:分比式电源架构可以供给跨越1000安培的年夜电流,并使供电收集的电阻下降到1/20 分比式电源架构(FPA)——分化为稳压和变压两部门功能 生成式人工智能电源系统设计面对的首要挑战包罗: · 很高的电流输送能力,规模从500安培到2000安培 · 负载需要超卓的动态机能 · PDN的消耗和阻抗较年夜 · 48V母线根本架构的尺度化利用,需要从48V转换到1V以下的能力 要解决这类年夜电流和高密度负载点(PoL)问题,需要采取分歧的方式。进步前辈的分比式电源架构将稳压和变压/电流倍增功能进行了分化,可将这些供电级放置在最好位置,从而到达最高的效力和功率/电流密度。 当输入电压(VIN)等在输出电压(VOUT)时,稳压器的效力最高,跟着输入输出比的增添,效力逐步下降。在36至60V的典型输入电压规模内,最好输出母线电压将是48V,而不是中心母线架构(IBA)中常见的传统12V母线电压。48V输出母线所需的电流是12V母线的四分之一(P=VI),而PDN的消耗是电流的平方(P = I2R),这意味着消耗下降至本来的 1/16。是以,先安装稳压器并将其调理至48V输出,可以实现最高的效力。稳压器还必需接管有时低在48V的输入电压,这就需要一个降压-升压的功能来知足这一设计需求。一旦输入电压获得了稳压,下一步即是将48V转换为1V。 在需要为1V负载供电的环境下,最好变压比为48:1。在这类环境下,稳压器将输入电压降压或升压到48V输出,再由变压器将电压从48降至1V。降压变压器以不异的比率加年夜电流,是以变压器组件也能够称为电流倍增器。在这类环境下,1安培的输入电流将倍增至48安培的输出电流。为了最年夜限度地削减年夜电流输出的PDN消耗,电流倍增器必需小巧,以便尽量接近负载放置。 PRM稳压器和VTM/MCM模块化电流倍增器连系在一路,组成Vicor分比式电源架构。这两个器件彼此合作,各司其职,实现完全的DC-DC转换功能。 PRM经由过程调制未稳压的输入电源供给稳压输出电压,即“分比式母线电压”。该母线供电给VTM,由VTM将分比式母线电压转换为负载所需的电平。 与IBA分歧,FPA欠亨过串连电感器从中心母线电压降压至PoL。FPA欠亨过下降中心母线电压来平均电压,而是利用电流增益为1:48或更高的高压江南体育稳压和电流倍增器模块,以供给更高的效力、更小的尺寸、更快的响应和1000安培和以上的可扩大性(图2)。 垂直放置PoL转换器削减功耗耗散 在前几代年夜电流生成式人工智能处置器电源架构中,PoL转换器被放在处置器复合体的横向(旁边)位置。因为铜的电阻率和PCB上的走线长度,横向放置的PoL供电收集(PDN)的集总阻抗相当高,可能到达200μΩ或更高。跟着生成式人工智能练习处置器的持续电流需求增添到1000安培,这意味着PCB自己就会耗损失落200瓦的功率。斟酌到在AI超等计较机顶用在年夜型说话模子练习的加快器模块(AM)多达数千个,并且几近从不竭电,凡是会延续运行10年或更长时候,这200瓦的功率消耗在整体上变得很是重大。 熟悉到这类能源华侈后,AI计较机设计师已最先评估采取垂直供电(VPD)布局,将PoL转换器直接放置在处置器复合体的下方。在垂直供电收集中,集总阻抗可能降至10μΩ或更低,这意味着在内核电压域1000安培的持续电流下,只会耗损10瓦的功率。也就是说,经由过程将PoL转换器从横向放置改成纵向放置,PCB的功耗削减了200–10=190瓦(WPCB )(图3)。 图3 生成式人工智能加快模块从横向(顶部)供电改成纵向(背部)供电,可将PDN消耗下降至1/20 VPD的另外一个长处是下降了GPU芯片概况电压梯度,这也有助在节流电力。如前所述,典型的4纳米CMOS GPU的标称工作电压为0.65VDD。利用横向供电时,将电源供给给处置器复合体的四边,因为集成电路的配电阻抗较高(凡是利用电阻率高在铜的铝导体),可能需要0.70V的电压,才能确保GPU芯片中间的电压到达标称值0.65V。而采取纵向供电时,可以确保全部芯片概况的电压为0.65V。0.70–0.65=50 mV,这个差值乘以1000安培,可额外节流50瓦(WVDD)的功率。在本例中,节流的总功率为190 WPCB + 50 WVDD = 240瓦(图4)。 按照将来几年公共范畴对加快器模块(AM)需求的猜测(2024年跨越250万件),和对电力本钱的公道估量(每兆瓦时75美元),每一个AM节流240W电力,到2026年将在全球规模内实现太瓦时的电力节流,相当在每一年节俭数十亿美元的电力运营本钱,并且按照可再生能源的利用比例,每一年还能永远性地削减数百万吨的二氧化碳排放。 图4:利用VPD时,处置器芯片的概况电压平均,有助在最年夜限度地提高计较机能,同时最小化功率消耗 遏制掉控的生成式人工智能功耗 Vicor正引领生成式人工智能供电手艺的立异海潮。他们供给的分比式负载点转换器解决方案有助在晋升生成式人工智能处置器的功能,使生成式人工智能的功耗与社会层面的情况庇护和节能方针相一致。 Vicor延续鞭策电源架构的立异,并开辟进步前辈的新产物,致力在解决生成式人工智能模子练习带来的功耗增添问题。经由过程采取进步前辈的分比式电流倍增器方式进行负载点DC-DC转换,便可以充实阐扬生成式人工智能优势,同时有用节制全球规模内的能源耗损。

欲知详情,请下载word文档 下载文档

上海2024年8月23日 /美通社/ -- 近日,富士胶片第二十七届戈壁绿化步履再度出发,由富士胶片(中国)投资有限公司(以下简称 富士胶片(中国) )工会倡议,工会会员和联系关系公司员工构成的戈壁绿化志...

要害字: 富士 收集

6月25日,HKCERT公布全新“中国香港收集平安变乱调和中间”并进行启动仪式,新名称更能彰显HKCERT的办事主旨和规模,借以晋升中国香港各界,特殊是中小企和市平易近对HKCERT的熟悉。

要害字: AI 收集


江南
专业 规范 诚信 共赢 创新 发展

18755199984/0551-82601881

( 服务咨询热线 )
地址:合肥市巢湖市团结路与东塘路交口东方国际大厦8层
Copyright © 2022 All Rights Reserved.
技术支持:无忧资源网   皖ICP备2023013513号-1