Как скорректированный коэффициент детерминации помогает избежать переобучения модели?

Скорректированный коэффициент детерминации помогает избежать переобучения модели, вводя штраф за добавление в неё новых переменных. wiki.loginom.ru www.dmitrymakarov.ru

Обычно при включении в модель новой независимой переменной доля объяснённой дисперсии зависимой переменной возрастает. wiki.loginom.ru Поэтому может показаться логичным включить в модель как можно больше переменных. wiki.loginom.ru Однако такой подход не даёт хороших результатов, так как не гарантирует, что будут выбраны именно те переменные, которые вносят значимый вклад в долю объяснённой дисперсии. wiki.loginom.ru

Кроме того, при увеличении числа переменных падает отношение числа наблюдений к числу параметров модели, что повышает вероятность переобучения. wiki.loginom.ru

Скорректированный коэффициент детерминации позволяет решить эту проблему, поскольку сначала увеличивается, а потом начинает уменьшаться из-за того, что возрастание штрафа начинает «перевешивать» рост объяснённой доли дисперсии. wiki.loginom.ru Тогда лучшей будет та модель, для которой значение скорректированного коэффициента детерминации максимально. wiki.loginom.ru