Публікація: Метод синтезу навчальної вибірки для LLM на основі методу навчання з підкріпленням
Завантаження...
Дата
2025
Автори
Назва журналу
ISSN журналу
Назва тома
Видавництво
Анотація
Мета роботи – розробити та впровадити ефективний підхід до створення синтетичного текстового датасету для навчання великих мовних моделей, використовуючи навчання з підкріпленням, оцінювання відповідей моделі та техніки перефразування для розширення датасету. Методи дослідження – аналіз даних, експеримент, створення алгоритмів, валідація. У результаті роботи було розроблено підхід до створення синтетичного датасету для навчання великих мовних моделей за допомогою навчання з підкріпленням. Модель попередньо навчалася на великому обсязі немічених текстових даних, а потім отримувала запити з попередньо визначеного набору. Для розширення датасету відповіді перефразовувалися та перекладалися на кілька мов. Отриманий підхід дозволяє ефективно генерувати високоякісні дані для навчання великих мовних моделей, що сприяє покращенню їх продуктивності та здатності працювати з багатомовними даними.
Опис
Ключові слова
оцінювання тексту, великі мовні моделі, навчання з підкріпленням, синтетичні дані
Бібліографічний опис
Бондаренко Д. К. Метод синтезу навчальної вибірки для LLM на основі методу навчання з підкріпленням : пояснювальна записка до кваліфікаційної роботи здобувача вищої освіти на другому (магістерському) рівні, спеціальність 122 Комп’ютерні науки / Д. К. Бондаренко ; М-во освіти і науки України, Харків. нац. ун-т радіоелектроніки. – Харків, 2025. – 76 с.