8月7日消息,据《晚点 LatePost》报道,字节跳动正在讨论训练一个参数规模超5万亿的模型,它超过阿里的 Qwen 3.8-Max(2.4 万亿参数)和月之暗面的K3(2.8 万亿参数),也是目前国内已知参数规模最大的模型。该计划仍处于早期阶段,模型最终不一定会发布。
报道称,新模型将由Seed Foundation负责人项亮主导,与大语言模型预训练数据负责人沈科合作。为此,Seed正在重新梳理组织,划分职责,分配资源。
针对字节讨论训练超5万亿参数模型的原因,报道援引接近Seed人士消息称,Seed团队认为,与其在现有尺寸上继续追赶其他大模型,不如把参数规模一次推到同行的数倍,争取领先位置。
值得一提的是,在字节跳动近日举行的内部会议中,创始人张一鸣罕见表态,做模型要坚持长期主义、延迟满足感,而不是用别人的输出,换一时的榜单排名。
他明确指出,字节跳动“应该愿意为长期目标牺牲一部分短期收益”。
据了解,目前字节跳动内部对开源模型严禁蒸馏,甚至通过API检测等方式在内部加强相关限制,张一鸣认为,蒸馏会干扰真正意义上的长期技术突破。
另一边,字节跳动于8月6日召开2026年年中全员大会。
大会期间,公司CEO梁汝波表示,在大语言模型上,接下来字节跳动还是会坚持自研,做好基本功,接受短期落后,坚持优化长期。
针对“优化长期”,梁汝波指出,是要以用户为中心,以增量社会价值为中心,不因短时间的波动而动摇。具体到AI业务上,就是要相信AGI,坚持自研。
在梁汝波看来,最重要的是动作不要变形,从心态上要接受大语言模型一段时间的落后,坚持自研和优化长期。
“昨天看到有外部报道说,我们是因为外部压力才坚持自研的,这是瞎猜的。真实原因是,我们希望团队延迟满足感,打好技术基础,这对长期实现AGI很关键。”梁汝波总结称。
此次字节高层接连发声绝非单纯的技术规划,更是一次完整的战略宣告。对内统一研发思路,也向全行业释放信号:字节无意跟随旁人的技术路线内卷,打算走出属于自身的成长曲线!