Лукашов, Д. С.2024-06-192024-06-192024Lukashov D. S. Relaxation of contiguity constraint in varied-size window attention in vision transformers / D. S. Lukashov ; Science Supervisor – PhD in Technical Sciences, Ac. Prof. I. V. Naumeyko // Радіоелектроніка та молодь у XXI столітті : матеріали 28-го Міжнар. молодіж. форуму, 16-18 квітня 2024 р. – Харків : ХНУРЕ, 2024. – Т. 7. – C. 157-158.https://openarchive.nure.ua/handle/document/27090Метою цієї роботи є дослідження можливості подальшої релаксації обмежень у структурі вікон Swin трансформерів із введенням поняття змінного розміру вікна. Ця робота пропонує повністю відійти від вікон та зняти обмеження на те, що механізм самоуваги має бути застосовано між елементами, що знаходяться у неперервному вікні. Вибір елементів між якими має застосовуватись механізм самоуваги пропонується віддати на навчання основному трансформеру, а не окремій мережі.enSwin transformerThesishttps://doi.org/10.30837/IYF.CVSAMM.2024.157