您好,欢迎访问江南网站!

集团动态

联系江南

江南
联系人:杜经理
手机:18755199984
电话:0551-82601881
邮箱:sale.zcjd@qq.com
地址:合肥市巢湖市团结路与东塘路交口东方国际大厦8层
江南首页>>江南新闻>>集团动态>>江南-摩尔线程国产GPU重大里程碑!千卡集群完成30亿参数大模型实训

江南-摩尔线程国产GPU重大里程碑!千卡集群完成30亿参数大模型实训

发布日期:2024-07-01 作者:江南

[导读]5月27日动静,摩尔线程、无问芯穹结合公布,两边已正式完成MT-infini-3B 3B(30亿参数)范围年夜模子的实训,基在摩尔线程国产全功能GPU MTT S4000构成的千卡集群,和无问芯穹的AIStudio PaaS平台。 5月27日动静,摩尔线程、无问芯穹结合公布,两边已正式完成MT-infini-3B 3B(30亿参数)范围年夜模子的实训,基在摩尔线程国产全功能GPU MTT S4000构成的千卡集群,和无问芯穹的AIStudio PaaS平台。 本次实训充实验证了夸娥千卡智算集群在年夜模子练习场景下的靠得住性,同时也在行业内率先开启了国产年夜说话模子与国产GPU千卡智算集群深度合作的新范式。 据悉,此次的MT-infini-3B模子练习总共用时13.2天,全程不变无中止,集群练习不变性到达100%,千卡练习和单机比拟扩大效力跨越90%。 今朝,实训出来的MT-infini-3B机能在同范围模子中跻身前列,比拟在国际主流硬件上(特别是NVIDIA)练习而成的其他模子,在C-Eval、MMLU、CMMLU等3个测试集上均实现机能领先。 无问芯穹正在打造“M种模子”和“N种芯片”之间的“M x N”中心层产物,实现多种年夜模子算法在多元芯片上的高效、同一摆设,已与摩尔线程告竣深度计谋合作。 摩尔线程是第一家接入无问芯穹并进行千卡级别年夜模子练习的国产GPU公司,夸娥千卡集群已与无穹Infini-AI顺遂完成系统级融会适配,完成LLama2 700亿参数年夜模子的练习测试。 T-infini-3B的练习,则是行业内初次实现基在国产GPU芯片从0到1的端到端年夜模子实训案例。 就在日前,基在摩尔线程的夸娥千卡集群,憨猴团体同样成功完成了7B、34B、70B分歧参数目级的年夜模子散布式练习,两边还告竣计谋合作。 经两边配合严苛测试,兼容适配水平高,练习效力到达预期,精度合适要求,全部练习进程延续不变。

欲知详情,请下载word文档 下载文档

5月29日动静,摩尔线程与国内领先的数据智能办事商滴普科技配合公布,摩尔线程“夸娥”(KUAE)千卡智算集群与滴普企业年夜模子Deepexi v1.0已完成练习、推理适配,取得江南体育产物兼容互认证实。

要害字: 摩尔线程

摩尔线程分销商启动年夜会今天美满进行,并公布了7家官方授权的焦点分销商合作火伴。焦点分销商合作火伴将与摩尔线程环绕国内的分销渠道收集进行合作无懈,周全加快摩尔线程多功能GPU产物系列的推行和利用。

要害字: 摩尔线程 GPU


江南
专业 规范 诚信 共赢 创新 发展

18755199984/0551-82601881

( 服务咨询热线 )
地址:合肥市巢湖市团结路与东塘路交口东方国际大厦8层
Copyright © 2022 All Rights Reserved.
技术支持:无忧资源网   皖ICP备2023013513号-1