Как работает вычислительный блок Tensor Processing Unit в Google Tensor?

Tensor Processing Unit (TPU) — тензорный процессор, разработанный корпорацией Google для ускорения работы алгоритмов искусственного интеллекта. builtin.com ru.wikipedia.org

Процесс работы TPU можно описать на примере умножения двух матриц А и В размера 3х3: blog.deepschool.ru

1. На нулевом такте матрицу B загружают в память массива. blog.deepschool.ru
2. На первом такте происходит одно умножение-сложение, накопление частичной суммы в аккумуляторе, распределённом по систолическому массиву, и передача данных дальше по линиям массива. blog.deepschool.ru
3. На втором такте происходят уже три умножения-сложения. blog.deepschool.ru
4. На третьем такте получают результат для первого элемента матрицы АB, а на пятом — систолический массив будет полностью нагружен. blog.deepschool.ru

TPU состоит из двумерного систолического массива (Matrix Multiply Unit, MXU) из 256х256 вычислительных единиц. blog.deepschool.ru Каждая вычислительная единица выполняет операцию умножения-сложения за один такт. blog.deepschool.ru

Команды TPU сами себе не подают — они поступают с подключённого сервера через PCI Express. ichip.ru Этим же путём передаются в ответ и конечные результаты. ichip.ru

Промежуточные результаты помещаются в буферный накопитель объёмом 24 Мбайт и снова поступают в вычислительный блок. ichip.ru