Аналіз застосування тензорних процесорів в задачах машинного навчання на прикладі Google TPU

Abstract

Проведено детальний аналіз тензорного процесору від компанії Google, розглянуто його математичне підґрунтя, структурні складові та ключові стадії роботи для використання при розв’язанні задач пов’язаних з машинним навчанням. Розглянуто методи прискорення процесу тренування нейронної мережі без втрати якості, реалізовані в TPU: квантування, паралельна обробка, систолічний масив, механізм інкапсуляції обчислень в нейронних мережах. Здійснений розбір обмежень та переваг цього виду процесору загалом та у порівнянні з графічним та центральним процесорами. Розглянуто конкурентні переваги даного тензорного процесору з аналогами, що пропонуються іншими компаніями. Описана взаємодія із хмарною платформою Google та з програмною бібліотекою TensorFlow.