DeepSeek发布关于NSA的技术论文-贤集微头条

DeepSeek发布关于NSA的技术论文

下载贤集网APP入驻自媒体

2月18日，DeepSeek官方在海外社交平台X上发布一篇纯技术论文报告，主要内容是关于NSA（Natively Sparse Attention，原生稀疏注意力），官方介绍这是一种用于超快速长文本训练与推理的、硬件对齐且可原生训练的稀疏注意力机制。

2025-02-19 11:06:26

最新回复

发布回复

倾城决

回复老刘说科技：做大模型时代的基础设施，是共识，尤其很多大公司都将这个领域视为必争之地，这意味着会面临着激烈的竞争。

枫无痕

回复老刘说科技：人家国外Ai发展多久，成千上万的论文你不报道，国内发发一两篇就报道吹捧？

回复老刘说科技：在注意力机制领域中国是领先的~

翰波

回复老刘说科技：中美交替领先，就看成本因素了，低成本优势更好更持久性，高成本只是暂时性。

空谷幽兰

回复老刘说科技：NSA新机制解码快，靠稀疏注意力降低计算复杂度，长文本处理更高效。硬件对齐优化，训练推理都飞快，比传统方法快不少。

涧花烟雨

回复老刘说科技：NSA，这名字嘲讽拉满，纯属炒作！

迢迢岁月

回复老刘说科技：稀疏注意力为提高效率同时保持模型能力提供了一个有前景的方向。

温裕

回复老刘说科技：随着序列长度的增加，标准注意力机制的高复杂度成为了关键的延迟瓶颈。

岛与幕歌

回复老刘说科技：NSA在长文本上的训练效率是真牛，动态分层稀疏策略让计算资源用在刀刃上，训练时间嗖嗖的，这才是AI该有的样子嘛！

不述离殇

回复老刘说科技：DeepSeek新论文提出NSA，一种硬件对齐、本地可训练的稀疏注意力机制，用于超快长上下文训练和推断，实验表明其性能优于Full Attention，实现显著加速。

玉弘

回复老刘说科技：稀疏注意力机制确实能减少计算开销，DeepSeek的NSA架构虽然新颖，但在实际部署中，还得看具体应用场景和硬件优化，不能光看浏览量。

失温恋人

回复老刘说科技：NSA通过算法-硬件协同创新，以实现高效的长上下文建模。

DeepSeek发布关于NSA的技术论文