Метод синтезу навчальної вибірки для LLM на основі методу навчання з підкріпленням

Abstract

Мета роботи – розробити та впровадити ефективний підхід до створення синтетичного текстового датасету для навчання великих мовних моделей, використовуючи навчання з підкріпленням, оцінювання відповідей моделі та техніки перефразування для розширення датасету. Методи дослідження – аналіз даних, експеримент, створення алгоритмів, валідація. У результаті роботи було розроблено підхід до створення синтетичного датасету для навчання великих мовних моделей за допомогою навчання з підкріпленням. Модель попередньо навчалася на великому обсязі немічених текстових даних, а потім отримувала запити з попередньо визначеного набору. Для розширення датасету відповіді перефразовувалися та перекладалися на кілька мов. Отриманий підхід дозволяє ефективно генерувати високоякісні дані для навчання великих мовних моделей, що сприяє покращенню їх продуктивності та здатності працювати з багатомовними даними.