Bonsai 27B: A 27B-Class model that runs on a phone

摘要

Bonsai 27B是一个拥有270亿参数的大模型，却神奇地能在手机上流畅运行，这得益于先进的量化和蒸馏技术，让高端AI能力走下云端的昂贵服务器，直接装进用户口袋，对隐私和离线场景意义重大。