MIT 博士生发现新方法“LASER”,无需额外训练可提升模型 30% 性能

来源: 巴比特2024-01-01
据量子位报道,MIT 博士生发现,只需对 Transformer 的特定层进行一种非常简单的修剪,即可在缩小模型规模的同时显著提高模型性能。效果主要体现在文本理解任务上,最高可达 30%。除了文本理解,它也适用于强化学习。这个操作只需在模型训练完成之后进行,不需要额外的参数和数据。 该方法全称“Layer-Selective Rank Reduction”,简称“LASER”。这是一种选择性地去除 LLM 权重矩阵高阶组件(components)的干预措施,操作就在 Transformer 模型的特定权重矩阵和层中进行。研究发现,即使完全去除 90% 以上,模型性能一般也不会下降。
利好利好
0
利空利空
0