百川智能宣布发布超千亿参数的大语言模型Baichuan 3。在CMMLU、GAOKAO、AGI-Eval等多个权威测评中，Baichuan 3在中文任务评测性能上超越了GPT-4，在数学和代码专项评测中也取得了出色表现。与百亿、几百亿级别参数模型训练不同，超千亿参数模型在训练过程中对高质量数据，训练稳定性、训练效率的要求都高出几个量级。据介绍，为更好解决相关问题，百川智能在训练过程中针对性地提出了“动态数据选择”、“重要度保持”以及“异步CheckPoint存储”等多种创新技术手段及方案，有效提升了Baicuan 3的各项能力。