中国领先的工业平台

返回贤集网 返回微头条
贤集网技术微头条APP获取

最高降低大模型能耗95%!MIT提出了一种名为线性复杂度乘法的算法

 快乐的码农

下载贤集网APP入驻自媒体

近期,美国麻省理工学院研究科学家、初创公司 BitEnergy AI 创始人罗鸿胤和合作者提出了一种名为线性复杂度乘法(L-Mul,linear-complexity multiplication)的算法。

L-Mul 的最大特点是用整数加法运算逼近浮点数乘法,通过改变数值计算的方式让大模型的计算精度大幅度降低。

用这种“偷懒式计算”可以大幅减少模型的运算量,最高可降低 95% 能耗。

此外,该算法也适用无需极高精度计算的场景。

最新回复
发布回复

为您推荐

热门交流