Дослідження методів оптимізації навчання генеративних нейронних мереж

Abstract

Об’єкт дослідження – методи навчання та оптимізації генеративних архітектур нейронних мереж. Предмет дослідження – алгоритми адаптивної оптимізації, методи другого порядку та методи зниження споживання пам'яті станами оптимізатора. Мета роботи – підвищення ефективності навчання генеративних моделей шляхом розробки та дослідження гібридних методів оптимізації, що вирішують проблему «стіни пам’яті» та спектрального колапсу. Методи дослідження – методи стохастичної апроксимації, диференціальної геометрії, сингулярного розкладу матриць та ітераційних методів Ньютона-Шульца