从GPT-2到Kimi K3：七年规模扩大2.26万倍，大模型架构主线是在建立一套“记忆操作系统”

摘要

文章回顾了从GPT-2到Kimi K3七年间大模型规模扩大2.26万倍的历程，指出架构演进的主线其实是在建立一套'记忆操作系统'。模型越来越大，本质上是为了更好地存储、调用和组织知识，就像操作系统管理内存与文件一样。这一视角帮助理解上下文窗口、注意力机制和检索增强等技术方向，对研究大模型发展脉络的人很有启发。