Метод побудови мовних мікро-моделей на основі LLM та методу їх екстремального стиснення

Abstract

Об’єкт дослідження – процес побудови компактних мовних моделей на основі великих мовних моделей із застосуванням методів екстремального стиснення. Предмет дослідження – методи, моделі та алгоритми екстремального стиснення великих мовних моделей шляхом тернарної квантизації, дистиляції знань та структурного прунінгу для отримання функціональних мовних мікромоделей. Мета роботи – розробка методу побудови мовних мікромоделей на основі великих мовних моделей (LLM) із використанням екстремального стиснення, який забезпечує суттєве зменшення обсягу пам'яті та обчислювальних витрат за умови збереження прийнятної якості генерації тексту. Методи дослідження – теоретичний аналіз існуючих підходів до стиснення нейронних мереж; методи квантизаційно-орієнтованого навчання (QAT); дистиляція знань «вчитель-учень» (knowledge distillation); структурний прунінг; експериментальне моделювання з використанням мови Python, бібліотек PyTorch та Transformers, фреймворку bitnet.cpp; порівняльний аналіз на стандартизованих бенчмарках.