Розробка та дослідження методів автоматичного оцінювання SQL скриптів з використанням великих мовних моделей для системи тестування знань студентів

Abstract

Об’єктом дослідження є процес автоматичного оцінювання SQL-скриптів студентів у системах електронного тестування знань. Предметом дослідження є порівняння та перевірки правильності SQL запитів із використанням великих мовних. Метою дослідження є розробка та дослідження методів автоматичної оцінки SQL-скриптів на основі LLM, які забезпечать комплексну перевірку рішень студентів з урахуванням коректності, ефективності та якості написаного коду, а також формування адаптивного зворотного зв'язку. Використано комбінацію евристичних та інтелектуальних підходів. Наукова новизна роботи полягає у поєднанні методів евристичного аналізу SQL-структур із глибинними мовними моделями, що дозволяє не лише автоматично визначати правильність запиту, а й формувати інтерпретовані коментарі для студента природною мовою. Взаємозв’язок з іншими роботами полягає у використанні сучасних принципів автоматизованого аналізу програмного коду та NLP-технологій, адаптованих до навчальних систем тестування знань. Рекомендації щодо використання результатів роботи передбачають впровадження розробленого алгоритму у системи онлайн-тестування для вищих навчальних закладів. У результаті дослідження створено прототип інтелектуального модуля автоматичного оцінювання SQL-скриптів.