Как оптимизировать регрессию с несколькими переменными?

Для оптимизации регрессии с несколькими переменными можно предпринять следующие шаги:

• Проанализировать качество модели. function-x.ru Для этого используют коэффициент детерминации, F-статистику, сумму квадратов остатков и стандартную ошибку регрессии. function-x.ru Также следует использовать скорректированный коэффициент детерминации, который применяется при исключении или добавлении в модель наблюдений или переменных. function-x.ru
• Проверить выполнение требований Гаусса-Маркова к остаткам. function-x.ru В качественной модели линейной регрессии математическое ожидание остатков равно нулю для всех наблюдений, теоретическая дисперсия остатков постоянна, отсутствует систематическая связь между остатками в любых двух наблюдениях и зависимость между остатками и объясняющими (независимыми) переменными. function-x.ru
• Провести анализ значимости отдельных переменных. function-x.ru Для этого используют критерий Стьюдента. function-x.ru В случае наличия резко выделяющихся наблюдений (выбросов) нужно последовательно по одному исключить их из модели. function-x.ru
• Удалить незначимые переменные. function-x.ru Для этого по одному удаляют признаки с наибольшей корреляцией и смотрят, как изменится этот показатель для оставшихся независимых переменных. www.dmitrymakarov.ru

Также для оптимизации регрессии с несколькими переменными можно использовать итерационные методы, например, градиентный спуск. habr.com

Для достижения хорошей производительности модели также может потребоваться настройка гиперпараметров или более глубокая предварительная обработка данных. www.geeksforgeeks.org