【小红书、北大开源面向大规模MoE训推的负载均衡方案UltraEP】
内容摘要
【小红书、北大开源面向大规模MoE训推的负载均衡方案UltraEP】7月20日讯，小红书发文宣布其与北大提出UltraEP，首次把基于“精确”路由信息的“实时”负载均衡引入生产系统：在每个microbatch和每一层动态复制热点专家，让真实训推也能逼近理想性能。据小红书方面介绍，UltraEP平均达到理想性能的94.3%，相比业界SOTA训推框架提升1.49倍，并应用在了大规模预训练的实际生产中。
登录 DeepFocus 看全文 →登录后你可以
- 阅读本文完整原文
- 实时 A 股 / 港美股行情与自选盯盘
- 个股 / 研报 / 快讯的 AI 解读，以及每日 A 股收盘复盘
行情与资讯免费 · 登录即用
更多资讯
- 贵州茅台宣布，将飞天茅台的零售价每瓶提高100元，调整后售价为1639元；同时出厂价也上调100元，达到每瓶13…
- 台湾的散户投资者在上周五以2025年4月以来最快的速度减少了杠杆股票投资，当天保证金贷款下降了近8.96亿美元，…
- 中国两大国有投资机构——中国国新控股和中国诚通控股，于周日宣布增持A股，并承诺将继续增持央企等股票，以维护资本市…
- #腾讯会议：605-117-892
- 夜间盘：风险从油价进入航道，长钱托底尚未扩散｜ 出品 RESEARCH夜间盘 · AI 财经简报169 条素材去…