Relaxation of contiguity constraint in varied-size window attention in vision transformers

Лукашов, Д. С.

Публікація:
Relaxation of contiguity constraint in varied-size window attention in vision transformers

dc.contributor.author	Лукашов, Д. С.
dc.date.accessioned	2024-06-19T16:15:53Z
dc.date.available	2024-06-19T16:15:53Z
dc.date.issued	2024
dc.description.abstract	Метою цієї роботи є дослідження можливості подальшої релаксації обмежень у структурі вікон Swin трансформерів із введенням поняття змінного розміру вікна. Ця робота пропонує повністю відійти від вікон та зняти обмеження на те, що механізм самоуваги має бути застосовано між елементами, що знаходяться у неперервному вікні. Вибір елементів між якими має застосовуватись механізм самоуваги пропонується віддати на навчання основному трансформеру, а не окремій мережі.
dc.identifier.citation	Lukashov D. S. Relaxation of contiguity constraint in varied-size window attention in vision transformers / D. S. Lukashov ; Science Supervisor – PhD in Technical Sciences, Ac. Prof. I. V. Naumeyko // Радіоелектроніка та молодь у XXI столітті : матеріали 28-го Міжнар. молодіж. форуму, 16-18 квітня 2024 р. – Харків : ХНУРЕ, 2024. – Т. 7. – C. 157-158.
dc.identifier.doi	https://doi.org/10.30837/IYF.CVSAMM.2024.157
dc.identifier.uri	https://openarchive.nure.ua/handle/document/27090
dc.language.iso	en
dc.publisher	ХНУРЕ
dc.subject	Swin transformer
dc.title	Relaxation of contiguity constraint in varied-size window attention in vision transformers
dc.type	Thesis
dspace.entity.type	Publication