《科创板日报》2月12日讯（记者 张洋洋）今日，字节跳动豆包大模型团队提出了全新的稀疏模型架构 UltraMem，该架构有效解决了MoE推理时高额的访存问题，推理速度较 MoE 架构提升2-6倍，推理成本最高可降低83%。
目前，国内外大模型领域的竞争愈发激烈，已然进入白热化阶段。豆包在AI基础层和应用层上均进行了全面布局，并持续迭代升级。
根据豆包大模型团队的研究，在Transformer架构下，模型的性能与其参数数量和计算复杂度呈对数关系。随着LLM规模不断增大，推理成本会急剧增加，速度变慢。
尽管MoE（混合专家）架构已经成功将计算和参数解耦，但在推理时，较小的batch size就会激活全部专家，导致访存急剧上升，进而使推理延迟大幅增加。
字节跳动豆包大模型Foundation团队提出了UltraMem，这是一种同样将计算和参数解耦的稀疏模型架构，在保证模型效果的前提下解决了推理的访存问题。
