Relaxation of contiguity constraint in varied-size window attention in vision transformers

Abstract

Метою цієї роботи є дослідження можливості подальшої релаксації обмежень у структурі вікон Swin трансформерів із введенням поняття змінного розміру вікна. Ця робота пропонує повністю відійти від вікон та зняти обмеження на те, що механізм самоуваги має бути застосовано між елементами, що знаходяться у неперервному вікні. Вибір елементів між якими має застосовуватись механізм самоуваги пропонується віддати на навчання основному трансформеру, а не окремій мережі.