Підходи до використання моделей LLM у процеси тестування програмного забезпечення

Abstract

У роботі проведено детальний аналіз особливостей тестування програмного забезпечення в монолітній та мікросервісній архітектурах. Досліджено можливості застосування великих мовних моделей для автоматизації процесів тестування. Розроблено комплексну систему метрик для оцінки якості згенерованих модульних тестів, що включає: базові метрики (кількість тестів, щільність перевірок), метрики покриття коду (покриття методів, граничних випадків, граничних значень), показники якості (описовість назв, різноманітність тверджень) та читабельності (використання документації, структурованість коду). Створено програмну систему для порівняльного аналізу ефективності різних LLM моделей (ChatGPT, Gemini, CodeLlama) у задачі генерації Unit-тестів. Система забезпечує автоматизовану генерацію тестів, оцінку їх якості та формування аналітичних звітів. Проведено експериментальне дослідження на наборі синтетичних тестів, що охоплюють різні аспекти розробки: від простих алгоритмічних задач до складних асинхронних операцій та управління станами.