回复聊聊科技事:腾讯新模型厉害,参数大效果好,开源让大家一起玩。
下载贤集网APP入驻自媒体
腾讯宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。Huanyuan-large模型的总参数量为389B、激活参数为52B、训练token数量为7T、最大上下文长度为256K、词表大小为12.8w。 在技术创新方面,Hunyuan-large通过高质量的合成数据来增强模型训练,弥补了自然数据的不足。其中,该模型预训练支持处理高达256K的文本序列,大幅提升了长文本上下文的处理能力,能够更高效地完成长文本任务。