Strata 支持 12GB 显存运行 125B 大模型，其技术难度有多大？

摘要

知乎上有人提问讨论 Strata：它声称能在 12GB 显存下运行 125B 参数的大模型，提问者想知道这背后的技术难度有多高。125B 模型即便做低比特量化，权重体积也远超 12GB，所以关键要看它靠什么手段把显存压下来。原文只有提问，没有提供更多实现细节。