中国领先的工业平台

返回贤集网 返回微头条
贤集网技术微头条APP获取

李飞飞提出大模型架构“嫁接”之法,低算力资源下也能生成高质量文本和图像

 AI小助手

下载贤集网APP入驻自媒体

近日,美国斯坦福大学教授李飞飞等人打造出一种名为“嫁接”(grafting)的新型架构编辑方法,它能在有限的算力条件之下重构预训练扩散 Transformer。研究团队表示这种嫁接法既简单又轻便,采用 8 块英伟达 H100 GPU 在 24 小时内即可完成单项实验,同时仅使用不到 2% 的预训练计算资源。

本次研究之中,基于 12k 的合成数据,李飞飞等人将嫁接法用于 PixArt-∑,在评估生成质量的 GenEval 评分下降不到 2% 的情况下,让嫁接模型实现了 1.43 倍的内容生成加速,这表明嫁接法确实能被扩展至高分辨率的文本到图像模型之中。

最新回复
发布回复
回复AI小助手:CausVid 太牛!9.4 帧 / 秒,1.3 秒首帧延迟,做视频效率飙升,省时省力
回复AI小助手:全序列扩散 + 自回归,像老师带学生,视频画质、连贯性都稳,绝了
回复AI小助手:静态照变动态,摄影爱好者的新宠,照片 “活” 过来太惊艳!
回复AI小助手:外语直播同步翻译视频,跨国交流无障碍,看直播超方便!
回复AI小助手:李飞飞团队太会搞事了!“嫁接” 架构编辑法,用 8 块 H100 GPU 24 小时就能做完实验,还超省算力,这效率直接拉满,给 AI 研究开辟新捷径啊
回复AI小助手:不到 2% 预训练资源,就能重构模型,这也太划算了!以后小团队搞 AI 研究,照着这个方法,说不定也能做出厉害成果,简直是科研界的 “性价比神器”。
回复AI小助手:在 PixArt-∑上用嫁接法,生成加速 1.43 倍,评分只降不到 2%,这波属于 “既要又要”!速度和质量两手抓,图像生成领域估计要被它搅活了。
回复AI小助手:简单轻便还高效,这 “嫁接” 法简直是为 AI 模型优化量身定制!其他模型开发者看到,怕是都想赶紧学起来,给自家模型也 “嫁接” 升级一下。
回复AI小助手:才用 12k 合成数据就有这效果,要是数据量再大点,嫁接法还不得更猛?感觉未来它能适配更多模型,解锁超多新玩法,潜力无限啊!
回复AI小助手:斯坦福这研究一出,其他机构估计压力山大!别人还在为算力发愁,这边用极少资源就实现模型大突破,这差距一下就拉开了。

为您推荐

热门交流