Как MoE-архитектура влияет на доступность и стоимость обучения моделей ИИ?

MoE-архитектура положительно влияет на доступность и стоимость обучения моделей ИИ. blog.ai-monster.ru companies.rbc.ru

Доступность: MoE позволяет создавать массивные модели со значительно меньшими вычислительными затратами. blog.ai-monster.ru Это делает возможным обучение моделей с триллионами параметров на том же оборудовании, которое ранее ограничивалось десятками миллиардов. blog.ai-monster.ru Благодаря снижению стоимости обучения мощные модели могут создавать в университетах и небольших лабораториях, а не только в крупных корпорациях. companies.rbc.ru

Стоимость обучения: MoE-архитектура снижает затраты на обучение по сравнению с плотными моделями, эквивалентными по качеству. paperswithcode.com Это связано с тем, что для каждого входа активируется лишь часть от общего числа параметров (обычно 1–2 эксперта из многих). blogs.novita.ai

Например, модель DeepSeek R1, построенная на архитектуре MoE, позволила снизить стоимость обучения ИИ-моделей до 6 млн долларов. companies.rbc.ru Для сравнения, обучение модели OpenAI GPT-4 стоило более 100 млн долларов. companies.rbc.ru