Methods for improving the energy efficiency of small language models for autonomous robotics

Abstract

This work investigates methods for increasing the energy efficiency of small language models in autonomous mobile robotics applications. A comparative analysis of the relationship between the computational complexity of models, energy consumption, and autonomous operation time of mobile robots is conducted. Quantization, pruning, and knowledge distillation methods are considered as key approaches to reducing the computational load. Recommendations are given for choosing the optimal model compression strategy depending on the requirements of a specific robotics task and hardware platform. Ця робота досліджує методи підвищення енергоефективності малих мовних моделей у застосуваннях автономної мобільної робототехніки. Проведено порівняльний аналіз взаємозв'язку між обчислювальною складністю моделей, енергоспоживанням та часом автономної роботи мобільних роботів. Розглядаються методи квантування, обрізання та дистиляції знань як ключові підходи до зменшення обчислювального навантаження. Надані рекомендації щодо вибору оптимальної стратегії стиснення моделей залежно від вимог конкретного завдання робототехніки та апаратної платформи.