GKE Pod 快照可缩短模型加载时间

摘要

谷歌公布了 GKE Pod 快照的基准测试：它保存工作负载的 CPU、GPU 内存与运行时状态并按需恢复，跳过模型加载初始化，启动延迟最高降低 89%，700 亿参数模型 37 秒即可加载。该功能属 checkpoint/restore 机制而非缓存，要求 Pod 运行在基于 gVisor 的 GKE Sandbox 中，客户 Codeway 借此把启动时间从 1 分钟压到 8 秒。

近 7 天热度