GitHub1,004github.com
lyogavin/airllm
by lyogavin首次上榜 2026-10-11
摘要
AirLLM 通过压缩推理显存占用，让 70B 模型在单张 4GB GPU 上跑起来，无需量化、蒸馏或剪枝；README 称 2.8T 的 Kimi K3 可在 4GB 以下、671B 的 DeepSeek-V3 约 12GB 运行，并新增了在小显存上训练大模型的支持。适合显存有限、想在本地跑大模型的开发者。
近 7 天热度
10-1110-13
相关推荐
microsoft/BitNet
Official inference framework for 1-bit LLMs
alibaba/open-code-review
Secure, fast, efficient, battle-tested at Alibaba's scale. Hybrid architecture code review tool: deterministic pipelines + LLM Agent, precise line-level comments, built-in multi-language ruleset (NPE, thread-safety, XSS, SQL injection), OpenAI & Anthropic compatible.