Ваша точность — это ложь, вот как это исправить (Руководство архитектора по надежной проверке мод...

Ваш показатель точности вас обманывает. Вот как это исправить. В большинстве руководств вас учат разделять данные в соотношении 80/20, обучать модель и радоваться результату. Но это число меняется каждый раз, когда вы перемешиваете данные. Оно также завышено из-за утечки данных. И оно рушится в тот момент, когда ваша модель попадает в производство. В этом видео я покажу вам точный рабочий процесс перекрестной проверки, используемый опытными специалистами по данным и инженерами машинного обучения — от K-Fold до стратификации и конвейеров — чтобы каждый ваш результат был честным, стабильным и готовым к использованию в производстве. К концу вы поймете, почему стандартное отклонение важнее среднего значения, как один StandardScaler может незаметно исказить ваши результаты и как такие инструменты, как skore, могут автоматизировать весь процесс проверки. — 📦 ИНСТРУМЕНТЫ И БИБЛИОТЕКИ scikit-learn — https://scikit-learn.org skore — https://github.com/probabl-ai/skore pip install skore Сайт skore: https://skore.probabl.ai/?utm_source=... — 🔑 ОСНОВНЫЕ РАССМОТРЕНЫЕ ПОНЯТИЯ • K-кратная перекрестная проверка и почему разделение на обучающую и тестовую выборки ненадежно • Стандартное отклонение как мера стабильности модели (а не только средней точности) • Стратифицированная K-кратная проверка для несбалансированных наборов данных классификации • Утечка данных через предварительную обработку (StandardScaler, PCA) перед перекрестной проверкой • Конвейеры Scikit-learn как структурное решение проблемы утечки данных • Групповая K-кратная проверка для не независимых строк (например, несколько образцов на одного пациента) • TimeSeriesSplit для временных данных (с учетом направления времени) • Окончательная доработка: почему перекрестная проверка предназначена для оценки, а не для развертывания • CrossValidationReport от skore для автоматизированной, проверяемой проверки — ⏱️ РАЗДЕЛЫ 0:00 — Ваша 97% точность — мираж 0:45 — Раздел 1: Проблема случайности при перемешивании 3:50 — Раздел 2: Решение проблемы стратификации 6:00 — Раздел 3: Тихий убийца — утечка данных 10:01 — Раздел 4: Контрольный список для опытных специалистов 12:47 — Раздел 5: Один инструмент для обеспечения всего этого — skore 17:00 — 4 столпа надежной проверки 💻 КОД Все скрипты Python, использованные в этом видео, доступны здесь: 👉 https://github.com/fabienpesquerel/yo... Включенные скрипты: script-01.py — Демонстрация нестабильности разделения на обучающую и тестовую выборки script-02.py — Демонстрация K-Fold перекрестной проверки script-03.py — Сравнение KFold и StratifiedKFold script-04.py — Механизм утечки данных + исправление конвейера script-05.py — GroupKFold, TimeSeriesSplit, окончательная переподгонка script-06.py — CrossValidationReport с skore — 📚 ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ Руководство пользователя scikit-learn — Перекрестная проверка: https://scikit-learn.org/stable/modul... Руководство пользователя scikit-learn — Конвейеры: https://scikit-learn.org/stable/modul... skore сайт: https://skore.probabl.ai/?utm_source=... — #machinelearning #datascience #scikitlearn #crossvalidation #python #skore #mlops #dataleakage #modelvalidation #dataanalytics #dataengineering