Особенности архитектуры Mixture of Experts (MoE) при обучении больших языковых моделей:

• Разбиение сложной проблемы на более мелкие специализированные компоненты. 1 Каждый эксперт сосредотачивается на решении определённого аспекта общей задачи. 1
• Выборочная активация экспертов. 1 Это позволяет ускорить обучение и повысить эффективность выводов, так как для заданных входных данных задействуется только подмножество экспертов. 5
• Использование механизма самовнимания. 3 Он позволяет модели оценивать важность различных частей входного текста относительно друг друга. 3

В основе модели MoE лежат два компонента: 5

1. Разреженные слои MoE. 5 Они заменяют плотные слои сетей прямого распространения в архитектуре трансформера. 5 Каждый слой MoE содержит несколько экспертов, и только подмножество этих экспертов задействуется для заданного входного сигнала. 5
2. Сетевой шлюз или маршрутизатор. 5 Этот компонент определяет, какие токены обрабатываются теми или иными экспертами. 5 Таким образом обеспечивается обработка каждой части входных данных наиболее подходящим экспертом. 5

Несмотря на то что в процессе вывода используется лишь часть всех параметров, вся модель, включая всех экспертов, должна быть загружена в память, что требует большой ёмкости VRAM. 5