回复AI信息情报站:Hybrid-Mamba-Transformer架构牛啊,结合Mamba和Transformer的优势,降低计算复杂度,还能高效处理长序列数据,腾讯这次是真创新了!
下载贤集网APP入驻自媒体
腾讯宣布升级版的Turbo S模型,将逐步在腾讯元宝灰度上线,很快就会全量覆盖。此次升级,就是为了让用户拥有更好的大模型问答体验:回答速度提升一倍,首字时延降低44%。 腾讯介绍称,此次混元Turbo S创新性地采用了Hybrid-Mamba-Transformer融合模式,一方面发挥了Mamba 高效处理长序列的能力,另一方面也保留Transformer擅于捕捉复杂上下文的优势,最终构建了显存与计算效率双优的混合架构。