Публікація: Тестування логічних здібностей великих мовних моделей
Завантаження...
Дата
2024
Автори
Назва журналу
ISSN журналу
Назва тома
Видавництво
ХНУРЕ
Анотація
This work is devoted to investigating the performance of Large Language Models (LLMs) in solving logical problems in Ukrainian, where key words are replaced with nonsensical ones to challenge the models' reliance on prior knowledge. It highlights a study comparing the abilities of four models—ChatGPT 3.5, ChatGPT 4.0, Copilot, and Gemini—across different testing scenarios, including both isolated and contextual problem-solving. The findings reveal that all models significantly outperform random guessing, with ChatGPT 4.0 showing exceptionally high accuracy, suggesting its potential in applications requiring complex logical reasoning.
Опис
Ключові слова
ChatGPT, мовна модель
Бібліографічний опис
Лавриненко С. Р. Тестування логічних здібностей великих мовних моделей / С. Р. Лавриненко ; наук. керівник проф. Н. В. Рябова // Радіоелектроніка та молодь у XXI столітті : матеріали 28-го Міжнар. молодіж. форуму, 16–18 квітня 2024 р. – Харків : ХНУРЕ, 2024. – Т. 6 – С. 86-88. – DOI : https://doi.org/10.30837/IYF.IIS.2024.086.