Да, существуют быстрые альтернативы глубинного обучения на GPU и TPU. 1 Вот некоторые из них:

• Программные фреймворки. 1 PyTorch и TensorFlow предоставляют высокоуровневые абстракции для распараллеливания вычислений на GPU и TPU. 1 Для эффективного распределения нагрузки в кластере машин используются расширения вроде Horovod и DeepSpeed. 1
• Оптимизация численных форматов и квантование. 1 Традиционно обучение ведётся с 32-битной точностью чисел с плавающей запятой (FP32). 1 Однако для многих задач достаточно более компактных форматов, таких как 16-битные числа (FP16) или даже 8-битные целые (INT8). 1 Используя FP16 вместо FP32, можно удвоить производительность и вдвое сократить использование памяти. 1
• Нейронные ускорители TPU. 2 Они представлены в виде PCI-E карт или отдельных мини-серверов. 2 Возможности тренировки нейросетей у них ограничены, но в задаче выполнения нейросети (Inference) такие решения могут стать выгоднее покупки дорогостоящих GPU. 2