В чем заключаются ключевые различия между архитектурами CBOW и Skip-gram в Word2vec?

Ключевые различия между архитектурами CBOW и Skip-gram в Word2vec заключаются в том, как они предсказывают слова: dzen.ru habr.com

• CBOW (Continuous Bag-of-Words) подбирает целевое слово по окружающим его контекстным словам. www.cs.vsu.ru Алгоритм просматривает окно из нескольких слов и предсказывает следующее слово на основе предыдущих слов. dzen.ru CBOW обычно хорошо работает на небольших наборах данных. habr.com
• Skip-gram формирует контекстные слова в окрестности целевого слова, то есть действует в противоход CBOW. www.cs.vsu.ru На вход модели подаётся целевое слово, а на выходе — набор контекстных слов. how.dev Skip-gram лучше работает на больших наборах данных. habr.com

Ещё несколько различий:

• Размер контекста. how.dev Skip-gram обрабатывает большие контекстные окна (например, 5–20 слов), а CBOW — меньшие (например, 2–5 слов). how.dev
• Время обучения. how.dev CBOW обучается быстрее, так как делает одно предсказание, а Skip-gram — медленнее, потому что делает несколько предсказаний. how.dev
• Производительность. how.dev Skip-gram хорошо работает с редкими словами и фиксирует разнообразие слов, а CBOW обеспечивает лучшую частоту для часто встречающихся слов. www.guru99.com