Дослідження оптимальної мовної моделі OpenAI для задач генерації тексту, програмного коду та аналізу даних

Abstract

Тема звіту: «Дослідження оптимальної мовної моделі OpenAI для задач генерації тексту, програмного коду та аналізу даних». Метою дослідження є аналіз предметної області сучасних великих мовних моделей, порівняння їх можливостей у різних типах завдань, формалізація підходів до оцінювання якості роботи LLM, а також підготовка до розробки власної методики комплексного тестування та вибору оптимальної моделі під конкретний клас задач. У процесі дослідження проаналізовано еволюцію мовних моделей, досліджено архітектуру Transformer та підходи до навчання LLM (pre-training, fine-tuning, RLHF). Проведено огляд сучасних моделей OpenAI, зокрема GPT-4o, GPT-4o-mini, GPT-5.1, o1 та o3-mini, із фокусом на їхні відмінності у продуктивності, швидкості, вартості обчислень і придатності до різних типів задач. Розглянуто класи проблем, які вирішують мовні моделі: генерація тексту, генерація програмного коду та аналіз структурованих даних. На основі проведеного аналізу обґрунтовано потребу створення власної системи автоматичного оцінювання мовних моделей OpenAI. Встановлено архітектурні вимоги до майбутнього рішення, визначено структуру тестових наборів і описано концепцію платформи, яка включає модулі обробки запитів, оцінювання відповідей, збору метрик, порівняння моделей і формування інтегральних показників якості. Заплановано реалізацію програмного інструмента на основі .NET та OpenAI API з підтримкою автоматизованих пайплайнів тестування.