Если вы когда-нибудь квантизировали LLM в 4 бита, вы знаете боль: модель становится дешевой в инференсе, но «умнеет» не всегда.
В статье Multiverse Computing (Hugging Face) ребята предлагают подход Quantization-Aware Healing (QAH) - «долечивание» модели после жесткого сжатия + квантизации. По их бенчмаркам, в 7 из 9 тестов 4-битная версия GPT-OSS, сжатой до 60B, выглядит лучше собственного bfloat16-чекпоинта (автор оговаривается, что сравнение не совсем равное: 4-битная модель прошла дополнительную дистилляцию от 120B). (Главное: они так намерили, я буду перепроверять на своих задачах.)
Почему это интересно мне в проде:
- меньше VRAM, значит проще инфраструктура и ниже чек за инференс
- быстрее ответы, значит меньше «тормозов» в агентных пайплайнах и RAG
- можно позволить себе модель классом выше на том же железе.
Мой первый шаг: взять одну из рабочих моделей и прогнать A/B на наших промптах - где качество реально держится, а где «лечить» уже поздно.
Источник: huggingface.co/blog/.../quantization-aware-healing