Публікація: Метод планування завдань оброблення даних у розподілених системах з обмеженою інформацією про доступні ресурси
Завантаження...
Дата
2023
Автори
Назва журналу
ISSN журналу
Назва тома
Видавництво
ХНУРЕ
Анотація
У сучасному цифровому ландшафті розподілені системи оброблення даних (РСОД) стають усе більш критично важливими для забезпечення ефективного оброблення, аналізу та управління великими обсягами інформації. Ці системи часто використовуються в комерційних, наукових і соціальних доменах для оброблення комплексних даних в реальному часі або пакетному режимі. Одним із ключових складників таких систем є планування завдань, що є надзвичайно складним процесом, зокрема коли інформація про ресурсні потреби не є повною або точною. Предметом дослідження є алгоритми, методи та підходи, які використовуються для планування завдань між вузлами в розподілених системах. Мета роботи – створення оптимізованого методу планування завдань у РСОД з обмеженою інформацією про доступні ресурси. Завдання дослідження: проаналізувати недоліки сучасних методів для планування завдань у розподілених системах оброблення даних; оптимізувати метод планування завдань на основі метаданих між вузлами РСОД, який ґрунтується на методології пошуку найближчих сусідів із використанням методу локалізованого хешування та алгебри скінченних предикатів; розробити архітектуру програмного рішення та його реалізацію на основі оптимізованого методу; протестувати алгоритм на прикладі завдання декодування відео. Застосовано такі методи: статистичні алгоритми та техніки, зокрема класифікація та кластерний аналіз, використані для прогнозування потреб у ресурсах; візуалізаційні методи допомогли в аналізі та інтерпретації результатів. Результати роботи: проаналізовано недоліки сучасних методів для розподілу завдань у розподілених системах оброблення даних; створено оптимізований метод планування завдань на основі метаданих у РСОД, який ґрунтується на методології пошуку найближчих сусідів із використанням методу локалізованого хешування та алгебри скінченних предикатів; деталізовано процеси в модифікованому алгоритмі пошуку найближчих сусідів; розроблено архітектуру програмного рішення, що інтегрує оптимізований метод планування завдань на основі метаданих та алокації ресурсів; за допомогою практичного сценарію здійснено валідацію програмного рішення – використання створеного алгоритму в задачі планування для декодування відеоінформації. Висновки. Запропонований метод, що ґрунтується на методології локалізованого хешування та на застосуванні алгебри скінченних предикатів, є ефективним навіть у разі недостатньої або обмеженої інформації про ресурсні потреби. Це підтверджує можливість використання динамічних стратегій планування для адаптації до мінливих умов навантаження та доступності ресурсів.
Опис
Ключові слова
розподілені системи, оброблення даних, планування завдань, алгебра скінченних предикатів
Бібліографічний опис
Козирєв А. Метод планування завдань оброблення даних у розподілених системах з обмеженою інформацією про доступні ресурси / А. Козирєв, І. Шубін // Сучасний стан наукових досліджень та технологій в промисловості. – 2023. – № 3(25). – С. 27–39. – DOI: https://doi.org/10.30837/ITSSI.2023.25.027.