绕波特
下载贤集网APP入驻自媒体
6月1日，北京智源大会召开。大会首日重磅发布了“悟道2.0”模型，其参数量高达1.75万亿，这是中国首个万亿级模型。一举超越谷歌最大模型Switch Transformer的1.6万亿参数，成为全球第一；也是著名的OpenAI GPT-3模型参数量的10倍。 “悟道2.0”万亿模型兼顾文本与视觉两大领域，并支持中英双语，在4.9T的高质量清洗数据上训练。 此外，“悟道2.0”还取得多项世界级创新突破，在预训练模型架构、微调算法、 预训练框架等方面实现了原始理论创新。更值得称道的是“悟道2.0”首次100%基于国产超算平台打造。 通过公开的API，所有人都能够免费申请使用。
