Разница между внутренней и внешней оценкой языковых моделей заключается в подходе к оцениванию их производительности. 14

Внутренняя оценка предполагает использование метрик для оценки самих языковых моделей без учёта конкретных задач, для решения которых их планируется использовать. 1 Например, к такому методу относится вычисление перплексии, которая измеряет, насколько хорошо модель предсказывает последовательность текста. 4

Внешняя оценка предполагает оценивание модели путём решения с её помощью задачи, на которую она рассчитана (например, задачи машинного перевода текстов), и анализ итоговых показателей потерь или точности. 1 Это единственный способ реально оценить, как разные модели справляются с интересующей задачей. 1

Таким образом, внутренняя оценка фокусируется на самом процессе работы модели, а внешняя — на её способности решать конкретные задачи. 14