Метод 1-бітового квантування ваг для великих мовних моделей - Приходько, Д. М. (My University, 2025)
Метою роботи є аналіз можливостей використання методу 1-бітового квантування ваг для великих мовних моделей, оцінка його впливу на точність і продуктивність, а також розробка рекомендацій щодо впровадження цього методу в реальні задачі. У дослідженні здійснено теоретичний аналіз літератури, розроблено алгоритми, проведено експерименти на реальних моделях і здійснено статистичний аналіз отриманих результатів. Робота включає огляд теоретичних основ квантування ваг із фокусом на 1-бітове квантування, що дозволяє значно скоротити обчислювальні ресурси без суттєвого зниження точності. Проведено експериментальне дослідження для оцінки ефективності цього підходу на великих мовних моделях. Отримані результати підтверджують можливість використання методу у середовищах із обмеженими ресурсами. Практичне значення роботи полягає в розширенні доступності великих мовних моделей через зниження їхньої обчислювальної складності, що сприяє їх впровадженню у мобільні пристрої та інші обмежені середовища
Keywords: велика мовна модель; квантування; обчислювальні витрати