Deepseek发布全新注意力机制NSA | 投研报告
来源:中国能源网 2025年02月24日 09:59
2025-02-24 09:59 来源:中国能源网

华福证券近日发布计算机行业定期报告:Deepseek发布全新注意力机制NSA,  以下为研究报告摘要: Deepseek发布全新注意力机制NSA NSA(硬件优化稀疏注意力机制)由Deepseek、北京大学和华盛顿大学联合提出,旨在解决传统注意力机制在长上下文、多轮对话等场景下的性能瓶颈。

华福证券近日发布计算机行业定期报告:Deepseek发布全新注意力机制NSA。 

以下为研究报告摘要:

Deepseek发布全新注意力机制NSA

NSA(硬件优化稀疏注意力机制)由Deepseek、北京大学和华盛顿大学联合提出,旨在解决传统注意力机制在长上下文、多轮对话等场景下的性能瓶颈。其创新性在于通过**三并行分支架构**(Token压缩、Token选择、滑动窗口)结合可学习门控机制,动态平衡全局与局部注意力:压缩分支粗粒度捕捉全局信息,选择分支筛选关键稀疏单元以减少计算量,滑动窗口则保留局部语法与语义连贯性;硬件层面基于Triton框架优化内存访问,通过组共享KV数据、高带宽HBM与片上SRAM协同计算,显著提升稀疏计算效率。该技术实现了推理速度与精度的平衡,适用于大语言模型加速、长文档理解等需要高效长程依赖建模的场景。

本周AI数据更新:

海外应用看,20250214-20250220期间,Chatgpt下载量逐步回升,Gemini、Perplexity和Claude整体保持稳定。

国内应用看,20250214-20250220期间,Deepseek下载量稍有回落,Kimi、通义、星火、文心一言整体保持稳定,腾讯元宝接入Deepseek后下载量显著提升,现已超过30万次/日。

风险提示

市场需求不及预期,人工智能技术发展不及预期,政策发布不及预期等。( 华福证券 钱劲宇 ) 

免责声明:本文内容与数据仅供参考,不构成投资建议,使用前请核实。据此操作,风险自担。

 

【责任编辑:肖洁 】

投稿与新闻线索: 微信/手机: 15910626987 邮箱: 95866527@qq.com
投稿与新闻线索: 微信/手机: 15910626987邮箱: 95866527@qq.com
欢迎关注中国能源官方网站
分享让更多人看到
中国能源网版权作品,未经书面授权,严禁转载或镜像,违者将被追究法律责任。
即时新闻
加载更多新闻
为你推荐
加载更多
Deepseek发布全新注意力机制NSA | 投研报告
分享到: