Коллинеарность — это линейная связь между двумя предикторами. 1 Два ненулевых вектора называются коллинеарными, если они лежат на параллельных прямых или на одной прямой. 5

Связь коллинеарности с переобучением заключается в том, что когда в модели есть избыточные или коррелированные предикторы, объясняющие переменную отклика, модель имеет тенденцию к переобучению. 1 Это означает, что модели хорошо работают с данными для обучения, но плохо справляются с тестовыми данными, тем самым сводя на нет всю цель построения модели. 1

Также коллинеарность может приводить к избыточности: два предиктора могут предоставлять одинаковую информацию о переменной отклика, что приводит к ненадёжным коэффициентам предикторов (особенно для линейных моделей). 1