Как работает подход SHAP для объяснения работы алгоритмов машинного обучения?

Подход SHAP (SHapley Additive exPlanations) предназначен для интерпретации выходных данных моделей машинного обучения. 14 Он позволяет понять вклад каждой входной функции в прогнозы модели. 1

Процесс работы SHAP можно описать следующим образом: 4

1. Подготовка модели. 4 Нужна обученная модель машинного обучения, например, дерево решений, случайный лес, градиентное усиление или глубокая нейронная сеть. 4
2. Выбор экземпляра. 4 Выбирается конкретный экземпляр или точка данных, для которой нужно объяснить прогноз. 4 Это может быть изображение, текстовый документ или набор функций. 4
3. Вычисление значений Шепли. 4 SHAP вычисляет значения Шепли для каждого признака в отношении выбранного экземпляра. 4 Эти значения представляют вклад каждого признака в прогноз для этого экземпляра. 4
4. Интерпретация результатов. 4 Значения Шепли можно визуализировать различными способами, например, с помощью столбчатых диаграмм, сводных графиков или атрибутов отдельных признаков. 4 Эти визуализации помогают понять, какие признаки повлияли на прогноз модели. 4
5. Получение выводов. 4 Анализ значений Шепли позволяет получить представление о процессе принятия решений моделью. 4 Можно определить, какие признаки оказали наиболее значительное влияние на прогноз и как они повлияли на результат. 4

SHAP основан на концепции значений Шепли, взятой из теории кооперативных игр. 4 В контексте машинного обучения «игроками» выступают признаки, а «игрой» — прогноз модели. 4