Метод обучения skip-gram в языковой модели Word2Vec работает следующим образом: 2

1. Подготовка данных. 2 Текст разбивают на отдельные слова и при необходимости пре обрабатывают, например, удаляют знаки препинания, переводят в нижний регистр и т. д.. 2
2. Создание пар «контекст-цель». 2 Модель skip-gram стремится предсказать окружающие контекстные слова для каждого слова в обучающих данных. 2 Контекст определяется размером окна, который определяет количество слов до и после целевого слова, которые считаются контекстными. 2
3. Архитектура нейронной сети. 2 Модель skip-gram состоит из одной скрытой нейронной сети с проекционным слоем. 2 Входной слой представляет целевое слово, а проекционный слой — встраивания слов или векторные представления. 2
4. Обучение. 2 В процессе обучения обновляются веса проекционного слоя, чтобы минимизировать потерю между предсказанными и фактическими контекстными словами. 2 Модель учится настраивать встраивания слов так, чтобы похожие слова имели похожие векторные представления во встраиваемом пространстве. 2
5. Получение вложений слов. 2 После обучения модели skip-gram из проекционного слоя извлекают вложения слов, которые фиксируют семантические отношения между словами в обучающих данных. 2

Таким образом, слова, которые часто встречаются в похожем контексте, будут иметь похожие векторы. 1