Матрица ошибок, точность против полноты: почему 99% точности — это ложь

Матрица ошибок, точность против полноты и F1-мера — объяснение на одном наглядном примере: модель, которая имеет точность 99% и ни разу не выявила ни одного больного пациента. Как могут быть верны оба утверждения? В этом видео дается ответ на классический вопрос на собеседовании: 1000 человек распределяются по четырем ячейкам матрицы ошибок, слой за слоем. Вы увидите, почему точность зависит от несбалансированных данных (990 здоровых, 10 больных), четыре ячейки простыми словами (выявлен, пропущен, ложная тревога, выздоровел) и их названия (истинно положительный, ложноотрицательный, ложноположительный, истинно отрицательный), полнота, считываемая из ячеек с действительно больными, и точность, считываемая из ячеек с выявленными больными, и почему каждый из этих показателей можно использовать для манипуляций: модель, которая никогда никого не выявляет, имеет точность 99%, а модель, которая выявляет всех, имеет полноту 100%. Затем пороговое значение: если его понизить, полнота повысится, а точность упадет; если повысить — наоборот, с паузой для самостоятельного прогнозирования. Показатель F1 представлен на отдельном примере: почему простое среднее значение точности и полноты скрывает слабую сторону, как гармоническое среднее стремится к меньшему значению (33%, а не 60%), и почему точность, полнота и F1 никогда не используют истинные отрицательные значения, которые завышают точность. Наконец, как сделать выбор: когда ошибка обходится дороже, как при скрининге рака, отдавайте предпочтение полноте; когда ложная тревога обходится дороже, как при спам-фильтре, отдавайте предпочтение точности. Каждое число показано на экране. Полезно для главы «Оценка моделей» учебника CBSE по искусственному интеллекту для 10 класса (417), университетских экзаменов по машинному обучению и собеседований по машинному обучению. Врачи называют полноту чувствительностью. Расположение сетки различается в учебниках (прогнозирование в строках, реальность в столбцах) и scikit-learn (истинные метки в строках, отрицательный класс первым), и видео демонстрирует оба варианта. Здесь намеренно не рассматриваются: ROC-кривая и AUC, кривая точности-полноты, матрицы ошибок многоклассовой классификации и способы исправления несбалансированных данных. Это видео является самостоятельным материалом. Далее в этой серии: ROC-кривая с отображением всех пороговых значений.