Почему модели LLaMA с небольшим количеством параметров работают быстрее более крупных конкурентов?

Модели LLaMA с небольшим количеством параметров работают быстрее более крупных конкурентов благодаря архитектуре Mixture-of-Experts (MoE). dzen.ru systems-analysis.ru

Эта архитектура разделяет параметры модели на «экспертные» подсети, активируя лишь небольшую их часть для каждого запроса. systems-analysis.ru Это сокращает вычислительные затраты на инференс и делает модели более эффективными как в обучении, так и в выводе. dzen.ru

Например, Llama 4 Maverick использует всего 17 миллиардов активных параметров из 400 миллиардов, а Llama 4 Scout, самая компактная из новых моделей, включает 109 миллиардов параметров, активируя лишь 17 миллиардов с 16 экспертами. dzen.ru

Благодаря MoE модели LLaMA с меньшим числом параметров часто превосходят более крупные модели конкурентов. systems-analysis.ru Например, LLaMA 1 (13B) превзошла GPT-3 (175B) на большинстве тестов. systems-analysis.ru