Дослідження стійкості великих мовних моделей до атак типу prompt injection

Abstract

Об’єкт дослідження – процес функціонування великих мовних моделей в умовах реалізації атак типу промпт-ін’єкцій. Предмет дослідження – методи та механізми реалізації прямих і непрямих промпт-ін’єкцій, а також показники стійкості LLM до таких атак. Мета роботи – проведення порівняльного аналізу вразливостей великих мовних моделей до атак типу промпт-ін’єкції, виявлення залежностей між архітектурними особливостями моделей та рівнем їх стійкості, а також побудова системи тестування безпеки LLM. Методи дослідження – аналіз наукових публікацій у сфері безпеки штучного інтелекту, формалізація типології промпт-ін’єкцій, моделювання атак різних категорій, експериментальне тестування моделей через API- провайдерів, розрахунок показника ASR. У процесі виконання дослідження проводиться аналіз архітектурних передумов вразливостей трансформерів, зокрема механізму самоуваги та шару токенізації. Також систематизуються сучасні техніки прямих промпт ін’єкцій та формується експериментального тестування. структурований датасет атак для Крім того, розробляється програмна система автоматизованої взаємодії з мовними моделями для проведення серії тестів і обчислення показників успішності атак. Отримані результати дозволяють оцінити рівень безпеки досліджуваних LLM та визначити ключові фактори, що впливають на їхню стійкість до атак типу промпт-ін’єкція.