中国领先的工业平台

返回贤集网 返回微头条
登录 注册
贤集网技术微头条APP获取

异构计算或能解决生成式AI落地终端的最大算力瓶颈

 智能未来

下载贤集网APP入驻自媒体

 
生成式AI正逐步成为客户端设备上的人机交互界面，而具备100亿参数级别的大模型已成为现有终端设备的最佳匹配规格。

然而，在终端部署这类AI大模型时，仍面临成本、功耗及软件生态等多重挑战。在当前大模型发展的硬件驱动方面，异构计算才是本地部署端侧大模型的理想选择，它能最大限度地提升SoC的性能、能效以及面积利用率。其中，NPU作为端侧AI应用的关键算力资源，将为大模型的分布式落地演进提供核心动力。
返回微头条首页
最新头条

阅读更多内容

狠戳这里

分享到

贤集网技术微头条APP获取
最新回复
发布回复
回复智能未来：高通在WAIC上的展示让我们看到生成式AI落地终端，已经成为现实，另一方面，我们也能看到高通在终端AI领域的实力。
回复智能未来：从DSP架构入手打造NPU是正确的选择，可以改善可编程性，并能够紧密控制用于AI处理的标量、向量和张量运算。高通优化标量、向量和张量加速的的设计方案结合本地共享大内存、专用供电系统和其他硬件加速，让我们的方案独树一帜

为您推荐

辟谣：国产22纳米光刻机治不了咱们的“芯”病，它跟ASML垄断的光刻机并不是一回事
11月29日，中科院研制的“超分辨光刻装备”通过验收。消息传着传着，就成了谣言——《国产光刻机伟大突破，国产芯片白菜化在即》《突破荷兰技术封
红昭愿   
电瓶饿死后如何激活？还能完全修复吗？
电瓶饿死后如何激活？还能完全修复吗？
红昭愿   
电脑内屏坏了修多少钱？是重新买一个好还是修一下呢
电脑内屏坏了修多少钱？是重新买一个好还是修一下呢？万能论坛求解答！
gsh34   
手机卡住不动了怎么办？屏幕不动~
手机卡住不动了怎么办？屏幕不动了。谢谢~
黄海峰   
中国购入两台光刻机高达12亿元！终有一天我们会摆脱芯片靠进口的命运
前阵子的中兴事件让很多人明白了半导体技术的重要性，华为等拥有自主设计移动芯片能力的厂商也受到了广泛赞誉。但很多人不知道的是，设计能力和制造能
红昭愿   
都说电工工资低，但增加收入并不难！教你4个接私活的方法，感兴趣的朋友可以参考~
   大多数电工的工资都是很低的，唯一的好处可能就是上班时间没有那么长，所以我们可以利用下班时候去接一点私活增加我们的收
136****9165   
苹果6指纹坏了能修吗？维修大概需要多少钱？
苹果6指纹坏了能修吗？才用没到一年，好郁闷，谁知道维修大概需要多少钱吗？
红昭愿   
中国芯片正崛起！国产光刻机突破荷兰技术封锁，弯道超车！
这两天传来了一个好消息！就在11月29日咱们中国的国产光刻机在成都通过验收了！大家都知道光刻机、飞机发动机这些都是以往我们做不出来的尖端科技
上海炫风实业集团有限公司   
手机屏幕点不了怎么办？
手机屏幕点不了怎么办？我的手机没坏啊，为什么屏幕点不了呢。
桑建伟   
中国的光刻机现在达到多少纳米了？
2016年底，华中科技大学国家光电实验室目前利用双光束在光刻胶上首次完成了 9nm 线宽，双线间距低至约 50nm 的超分辨光刻。未来将这一
張小姐   
中国十大机床品牌排名-2016
1，沈阳第一机床厂2，大连机床集团有限公司3，秦川机床集团有限公司4，济南机床二厂5，齐重数控装备股份有限公司6，北京第一机床厂7，齐齐哈尔
陈健   
手机钢化膜白边怎么消除？钢化膜白边去除液对手机有损害吗？
手机贴钢化膜时的白边怎么消除？很多小伙伴使用的钢化膜白边去除液是什么？会有损手机吗？
红昭愿   
华硕和联想笔记本哪个好一点？各自的有点和缺点是什么？
如题：华硕和联想笔记本哪个好一点？各自的有点和缺点是什么？我主要是用于工作，不玩游戏，懂的人介绍一下，谢谢。
kzz32519   
手机老出现“应用程序停止运行”怎么解决？
我的手机有几款程序老出现"应用程序停止运行"提示，很烦人，不知道怎么解决，谁有什么办法吗？
流浪的军刀   
重磅：华为重仓布局郑州！将对郑州产业布局影响深远
近日，郑州市人民政府和华为公司在郑州签署战略合作协议，双方就城市产业云、工业互联网、软件开发云、智慧城市等领域达成全方位、深层次战略合作。这
红昭愿   
饮水机怎么清洗？清洗饮水机的正确方法
饮水机怎么清洗？清洗饮水机的正确方法
红昭愿   
Excel表格技巧的动图合集！看了这些GIF，让你工作效率翻一倍！建议收藏！
你办公软件看似简单，其实花样很多，尤其Excel表格，涉及到一些比较少见的数据处理。但其实只要用心多练，效率轻松提升个十倍百倍还真不是问题！
已存在   
平衡车的技术原理是什么？为什么能保持平衡使人不掉下来？
平衡车的技术原理是什么？为什么能保持平衡使人不掉下来？
红昭愿   
+加载更多内容

热门头条

热门交流

热门资讯