Глубина деревьев в случайном лесу должна быть ограничена при ансамблировании, потому что у неглубоких деревьев малое число параметров. 1 Они способны запомнить только верхнеуровневые статистики обучающей подвыборки. 1 Такие статистики во всех подвыборках будут похожи, но не очень подробно описывают целевую зависимость. 1 Поэтому при изменении обучающей подвыборки предсказание на тестовом объекте будет стабильным, но не точным (низкая дисперсия, высокое смещение). 1
У глубоких деревьев нет проблем запомнить подвыборку подробно. 1 Поэтому предсказание на тестовом объекте будет сильнее меняться в зависимости от обучающей подвыборки, но в среднем будет близко к истине (высокая дисперсия, низкое смещение). 1
Таким образом, рекомендуется использовать максимальную глубину деревьев, кроме случаев, когда объектов слишком много и получаются очень глубокие деревья, построение которых занимает значительное время. 2 Неглубокие деревья рекомендуют использовать в задачах с большим числом шумовых объектов (выбросов). 2