Perplexity в контексте обработки естественного языка — это статистическая мера уверенности языковой модели в предсказании текстового образца. 1 Другими словами, она количественно оценивает, насколько «удивлена» модель при виде новых данных. 1

Меньшее значение перплексии указывает на то, что модель лучше предсказывает следующее слово в предложении, что означает более глубокое понимание языка и контекста. 2

Метрику Perplexity можно использовать для сравнения различных языковых моделей, выявления проблем в наборе данных чат-бота или тонкой настройки параметров отдельной модели. 1

Перплексия рассчитывается на основе вероятностного распределения, полученного от языковой модели, и показывает, насколько неожиданным является предсказание следующего слова в заданном контексте. 2