Понимание прогнозов моделей с помощью SHAP — XGBoost против нейронных сетей (375)

В этом уроке я расскажу вам о SHAP (SHapley Additive exPlanations) — одном из самых мощных инструментов для понимания того, что на самом деле делают ваши модели машинного обучения. Я объясню SHAP, используя простую аналогию из теории игр: если команда из 5 человек выигрывает 1000 долларов, как справедливо разделить приз, исходя из вклада каждого участника? SHAP применяет ту же концепцию к признакам машинного обучения. Используя набор данных о раке молочной железы в Висконсине, я покажу вам, как: Обучить модели XGBoost и нейронные сети для классификации Использовать SHAP для объяснения прогнозов обеих моделей Понять глобальную важность признаков (какие признаки важны в целом?) Объяснить отдельные прогнозы (почему модель предсказала ИМЕННО ЭТОТ результат?) Сравнить объяснения SHAP для разных типов моделей Ключевой вывод: XGBoost дает гораздо более понятные объяснения SHAP, чем нейронные сети. Модели на основе деревьев фокусируются на меньшем количестве, но более важных признаков, в то время как нейронные сети распределяют важность между многими признаками с меньшими значениями. Именно поэтому XGBoost часто предпочтительнее, когда важна интерпретируемость — в здравоохранении, финансах или любой другой области, где необходимо доверять решениям ИИ и объяснять их. Я делаю код простым и практичным — никаких классов, только простые функции, которые можно скопировать и вставить. Каждый блок кода является самостоятельным, поэтому вы можете следовать инструкциям шаг за шагом. Код доступен здесь: https://github.com/bnsreenu/python_fo...