JustVugg/colibri

摘要

colibri 是一个纯 C、零依赖的推理引擎，把磁盘、内存与显存当作统一推理层级、按需从磁盘流式加载 experts，从而在消费级或异构硬件上运行 744B 到 2.8T 参数的 MoE 模型，现已支持 GLM、Kimi K3、DeepSeek V4 等九个模型家族。适合想在自有硬件上部署超大 MoE、又不愿引入 Python 依赖栈的开发者。

近 7 天热度