Методи ефективного донавчання великих мовних моделей із вдосконаленням механізмів адаптерів

Abstract

Об’єкт дослідження – процес параметрично-ефективного донавчання великих мовних моделей. Предмет дослідження – методи адаптерного донавчання з токен залежним гейтуванням і спектральною регуляризацією. Мета роботи – розробка та експериментальна перевірка методу Spectral Gated Adapter для ефективного донавчання великих мовних моделей. Методи дослідження – аналіз наукових джерел, математичне моделювання, методи глибокого навчання та генеративного штучного інтелекту, інтелектуальний дослідницький аналіз та експериментальне порівняння отриманих емпіричних даних. У роботі запропоновано архітектуру SGA, що поєднує рангове гейтування з ортогональною спектральною регуляризацією адаптерних матриць. Експерименти на MRPC, RTE, QNLI та SST-2 показали конкурентну якість порівняно з LoRA, менший параметричний бюджет і нижче пікове використання GPU-пам’яті. Розроблений метод може бути впроваджений у навчальні пайплайни PyTorch і HuggingFace Transformers. Робота пов’язана з дослідженнями LoRA, AdaLoRA, DoRA, BitFit, IA³, Mixture-of-Experts і спектральної нормалізації. Результати доцільно використовувати в задачах NLP з обмеженими обчислювальними ресурсами та продовжити в напрямах квантування, мультимовного оцінювання і масштабування на декодерні моделі.