字节豆包大模型团队提出稀疏模型架构 推理成本最高可降低83%

来源：财联社2025年02月12日 13:47

据豆包大模型团队消息，字节跳动豆包大模型Foundation团队近期提出UltraMem，一种同样将计算和参数解耦的稀疏模型架构，在保证模型效果的前提下解决了推理的访存问题。据介绍，该架构有效解决了MoE推理时高额的访存问题，推理速度较MoE架构提升2-6倍，推理成本最高可降低83%。

投稿与新闻线索: 微信/手机: 15910626987 邮箱: 95866527@qq.com
中国能源网官方微信二维码
欢迎关注中国能源官方网站
分享让更多人看到
中国能源网版权作品，未经书面授权，严禁转载或镜像，违者将被追究法律责任。

即时新闻

要闻推荐

热点专题

精彩视频

新型电力系统的核心引擎 第二集 深远海风电送出
新型电力系统的核心引擎第一集柔性直流输电技术
《大国重器 直创未来》——记国网经研院直流技术攻关团队
雷鸟电视被指虚假宣传，消费者曝光“维权被要求签保密协议”

精彩图集

核电送出特高压工程开展高空作业
中国成功发射通信技术试验卫星二十六号A星
世界杯成为民众表达不满的契机，墨西哥迎来抗议浪潮
渤海首个千亿方大气田Ⅱ期开发项目主体结构建造完成
字节豆包大模型团队提出稀疏模型架构 推理成本最高可降低83%
分享到：