中国领先的工业平台

返回贤集网 返回微头条
贤集网技术微头条APP获取

腾讯推出业界参数规模最大的开源大模型

 聊聊科技事

下载贤集网APP入驻自媒体

腾讯宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。Huanyuan-large模型的总参数量为389B、激活参数为52B、训练token数量为7T、最大上下文长度为256K、词表大小为12.8w。

在技术创新方面,Hunyuan-large通过高质量的合成数据来增强模型训练,弥补了自然数据的不足。其中,该模型预训练支持处理高达256K的文本序列,大幅提升了长文本上下文的处理能力,能够更高效地完成长文本任务。

最新回复
发布回复

为您推荐

热门交流