Какие существуют методы анализа ошибок в машинном обучении?

Некоторые методы анализа ошибок в машинном обучении:

• Визуальный и статистический анализ остатков. habr.com Позволяет оценить смещение, гетероскедастичность и нормальность остатков — разницы между фактическим значением целевой переменной и предсказанным значением. habr.com
• Анализ лучших и худших случаев. habr.com Направлен на выявление общих паттернов на основе остатков. habr.com
• Corner Case Analysis. habr.com Фокусируется на том, какие остатки характерны для объектов с конкретными особенностями. habr.com
• Автоматическое сохранение объектов с наибольшими ошибками. habr.com Это помогает заметить общие паттерны и в будущем проследить, как менялся характер ошибки по мере внесения улучшений и добавления новых признаков. habr.com

Также для анализа ошибок в машинном обучении используют метод SHAP, который на основе теории игр определяет вклад каждого признака в принятие решений моделью, и метод LIME, использующий локальную модель для интерпретации результатов машинного обучения. 4brain.ru