3月10日，字节跳动豆包大模型团队宣布开源一项针对MoE架构的关键优化技术。该技术可将大模型训练效率提升1.7倍，同时将训练成本降低40%。据悉，这项优化技术已成功应用于字节跳动的万卡集群训练，累计节省了数百万GPU小时的训练算力。
