A/B-тесты в ML: как не ошибиться в результатах

Сайт специализации: https://mlinside.ru/specializaciya?ut... Представьте: ваша команда полгода разрабатывала рекомендательную модель, запустила её на всех пользователей — и через месяц метрики начали падать. Что пошло не так? Модель оказалась плохой, повлияла сезонность или причина вообще в другом? Без правильно спроектированного A/B-теста разобраться в этом может быть невозможно. В этом видео Даниил Потапов, руководитель бизнесовых решений на данных в Т-Банке, преподаватель ИТМО и AI Talent Hub, разработчик библиотек rectools и ambrosia, рассказывает, как правильно проводить A/B-тесты. Разберём, как разделять пользователей на группы, выбирать метрики, интерпретировать p-value и контролировать статистические ошибки. А ещё поговорим о расчёте размера выборки, продолжительности эксперимента и способах обнаружения небольших эффектов при ограниченном количестве данных. Подробнее A/B-тестирование изучаем на специализации MLinside, где уже доступны блоки по математике, Classic ML, Deep Learning, AI-агентам и статистике. Недавно добавили и новый блок Production ML: разработка ML-сервисов, работа с данными, автоматизация пайплайнов и развёртывание моделей. Переходите на сайт, чтобы посмотреть программу и записаться на обучение. Подробнее о специализации: https://mlinside.ru/specializaciya?ut...