科技少年QAQ
下载贤集网APP入驻自媒体
12月19日消息，近日，日本Sakana AI公司研究团队推出LLM记忆管理技术NAMMs，可将内存成本降低75%。大语言模型存在缺乏选择性记忆能力等问题，传统解决方案有缺陷。 NAMMs借鉴自然进化，通过进化算法训练神经网络来主动选择保留重要信息，其核心机制包括特征提取系统（采用短时傅里叶变换处理注意力矩阵列向量）、记忆管理网络（引入特殊注意力机制建立token竞争关系）和进化优化策略（采用CMA - ES算法，采用增量进化方式）。 以Llama 3 - 8b为基础模型训练NAMMs并在多基准测试中评估，性能提升明显，如在LongBench测试中减少KV缓存大小并提升性能，在其他模型和任务中也表现出色且有零样本迁移能力。NAMMs延续公司从自然获取灵感的研究思路，已获高额融资，未来团队将探索更复杂记忆模型设计等。
