Публікація: Relaxation of contiguity constraint in varied-size window attention in vision transformers
Завантаження...
Дата
2024
Автори
Назва журналу
ISSN журналу
Назва тома
Видавництво
ХНУРЕ
Анотація
Метою цієї роботи є дослідження можливості подальшої релаксації обмежень у структурі вікон Swin трансформерів із введенням поняття змінного розміру вікна. Ця робота пропонує повністю відійти від вікон та зняти обмеження на те, що механізм самоуваги має бути застосовано між елементами, що знаходяться у неперервному вікні. Вибір елементів між якими має застосовуватись механізм самоуваги пропонується віддати на навчання основному трансформеру, а не окремій мережі.
Опис
Ключові слова
Swin transformer
Бібліографічний опис
Lukashov D. S. Relaxation of contiguity constraint in varied-size window attention in vision transformers / D. S. Lukashov ; Science Supervisor – PhD in Technical Sciences, Ac. Prof. I. V. Naumeyko // Радіоелектроніка та молодь у XXI столітті : матеріали 28-го Міжнар. молодіж. форуму, 16-18 квітня 2024 р. – Харків : ХНУРЕ, 2024. – Т. 7. – C. 157-158.