Компания Multiverse Computing опубликовала результаты разработки метода Quantization-Aware Healing (QAH), направленного на оптимизацию больших языковых моделей. В отличие от стандартных техник квантования, которые часто приводят к деградации производительности при сильном сжатии, новый подход позволяет восстанавливать и даже улучшать характеристики модели после перевода весов в 4-битный формат. Это достигается за счет специфического процесса дообучения, который компенсирует ошибки, возникающие при потере точности данных. В ходе экспериментов исследователи продемонстрировали, что сжатые таким образом модели показывают более высокие результаты на бенчмарках, чем их полноразмерные аналоги в формате FP16. Метод позволяет значительно снизить требования к видеопамяти и вычислительным мощностям, сохраняя при этом высокую точность работы. Технология уже интегрирована в экосистему Hugging Face, что делает её доступной для широкого круга разработчиков, стремящихся запускать эффективные нейросети на потребительском оборудовании.