В чём заключается ключевое ограничение моделей типа word2vec, которое преодолела модель ELMo?

Ключевое ограничение моделей типа word2vec, которое преодолела модель ELMO, заключается в том, что word2vec назначает слову один вектор независимо от контекста, не учитывая семантическую неоднозначность слов. neerc.ifmo.ru

ELMO, в свою очередь, создаёт динамические представления, учитывая значение слов в зависимости от их окружения. blogs.epsilonmetrics.ru Это значит, что одно и то же слово может иметь разные значения в разных контекстах, и модель это учитывает. blogs.epsilonmetrics.ru