回复IT猿人：真实世界数据集将out？这绝对是一个好消息
IT猿人
下载贤集网APP入驻自媒体
6月15日消息，刚刚，英伟达再一次证明了自己的 AI 创新领域的领导地位，全新发布的开源模型 Nemotron-4 340B，有可能彻底改变训练 LLM 的方式！从此，或许各行各业都不再需要昂贵的真实世界数据集了。而且，Nemotron-4 340B 直接超越了 Mixtral 8x22B、Claude sonnet、Llama3 70B、Qwen 2，甚至可以和 GPT-4 掰手腕！ 具体来说，Nemotron-4 340B 模型支持 4K 上下文窗口、50 多种自然语言和 40 多种编程语言，训练数据截止到 2023 年 6 月。 训练数据方面，英伟达采用了高达 9 万亿个 token。其中，8 万亿用于预训练，1 万亿用于继续训练以提高质量。 值得一提的是，指令模型的训练是在 98% 的合成数据上完成的。
