В начале августа FareedKhan-dev выложил проект kimi-k3-in-c, который позволяет запускать модель Kimi K3 с 2,78 триллионами параметров на одном CPU с всего 8,24 ГБ ОЗУ. Это не очередное демо, а рабочий движок инференса на переносимом C99, который обходится без BLAS, фреймворков и GPU. К 27 августа проект набрал 6359 звезд, из которых 549 за день. Подробности можно найти в репозитории проекта на GitHub.
Такие огромные модели до сих пор требовали дорогого железа и специализированной инфраструктуры. Теперь можно:
- Развертывать мощные LLM на edge-устройствах или в условиях ограниченных ресурсов.
- Снижать операционные затраты на инференс.
- Упрощать интеграцию в существующие системы без пересборки стека.
Первое, что я проверю с Kimi K3, - это локальные агентные пайплайны. Когда модель такого масштаба становится доступной на обычном железе, можно запускать сценарии, где безопасность данных и минимальная задержка критичны. Больше не нужно выбирать между мощностью и автономностью.
Если вы упирались в дороговизну GPU для инференса или сложности развертывания на нестандартном железе, эта новость - находка. Для тех, кто ждет готовое решение в три строчки кода, - пока рано, но направление уже ясно.
Источники: https://github.com/FareedKhan-dev/kimi-k3-in-c
Видео-кандидат (полезняшка): Показать установку и запуск kimi-k3-in-c на ноутбуке с демонстрацией инференса на CPU.