Предсказывает ли модель?

Видео 18 рекомендовало бюджет. Следующий вопрос клиента — тот, который задает каждый клиент: как узнать, что модель верна? У всех один и тот же ответ — отложить будущее, обучить модель на прошлом, оценить ошибку. В этом видео этот тест проводится должным образом, а затем задается вопрос, решило ли это что-нибудь. НАСТРОЙКА. Два года, 104 недели. Годовой сезон, два канала, которые насыщаются, шум со стандартным отклонением 4. Три модели: одна без медиа вообще, одна с прямой линией в расходах каждого канала, одна с кривой Хилла на каждой — форма, которую на самом деле имеет правда. Тест представляет собой расширяющееся окно: обучение на неделях с 1 по t, прогнозирование t+1, скольжение, 49 фолдов, ни одна будущая неделя никогда не попадает в подгонку. БЮДЖЕТЫ, КОТОРЫЕ ИЗМЕНЯЮТСЯ ТАК ЖЕ, КАК И РЕАЛЬНЫЕ БЮДЖЕТЫ. Расходы колеблются на единицу или две в любую сторону от своего среднего значения. Тестирование на исторических данных: без медиа — 7,03, линия — 4,49, кривая — 4,57, при уровне шума 4. Сначала хорошие новости — модели с медиа превзошли модель без медиа на две с половиной продажи в неделю, разрыв, который тест подтверждает на уровне 3,6 при обнаруживаемом размере 1,8. Контрольная группа выполнила свою работу. А затем она превзошла прямую линию на 0,08 продаж. ЧТО МОЖНО НА САМОМ ДЕЛЕ УВИДЕТЬ С ПОМОЩЬЮ ДВУХЛЕТНЕГО КОНТЕЙНЕРА. Эти 0,08 нереальны: при тестировании по всем фолдам получается -0,69. Этот контрольный образец обнаружил бы разрыв примерно в треть продажи восемь раз из десяти. Чтобы разрешить один из разрывов в 0,08, потребовалось бы около 941 фолда — девятнадцать лет еженедельных данных. ЧТО РЕКОМЕНДУЮТ ДВЕ МОДЕЛИ. Линия показывает, что телевизор стоит 5,98 за единицу, а поиск — 1,97, оба значения постоянные, поэтому пика посередине нет: лучшее разделение — это угол. Все 11 единиц вложены в телевизор. Обещает на 22,4 продажи в неделю больше — 25% увеличение за счет перераспределения бюджета, который не увеличивается, что оператор замечает раньше, чем статистик. В действительности он показывает -2,16. Кривая показывает 6,8 за единицу, обещает 4,1, а показывает 4,04 из возможных 5,02. Точность прогноза неотличима. Разница в шесть продаж в неделю по бюджету, с противоположными знаками. Тест выбрал проигравшего. ПОЧЕМУ ТЕ, КТО НЕ МОГ ЭТОГО ЗАМЕТИТЬ. В диапазоне, охватываемом данными, линия является хорошим приближением к кривой — её коэффициент ТВ составляет 5,98 по сравнению с истинным наклоном 5,49, где компания фактически тратит деньги, — поэтому еженедельные прогнозы двух моделей отличаются примерно на половину продажи. Примерно на то, СКОЛЬКО стоит этот шаг, они отличаются на 18. Контрольная группа оценивает первое число 49 раз и никогда не касается второго, потому что второе относится к неделе, которой никогда не было. ТЕПЕРЬ ЦЕЛЕНАПРАВЛЕННО ПРОВЕРЬТЕ РАСХОДЫ. Та же правда, тот же шум, те же модели. Расходы проверьте весь диапазон. Тестирование: без медиа 15,72, линия 6,02, кривая 4,70, и теперь разница реальна (3,09). Контрольная группа разделяет их и выбирает правильный вариант. Ответ линии относительно бюджета не сдвигается — всё ещё угол, всё ещё убыток. Кривая становится более резкой с 6,8 до 8,13, показывая 5,10 из 5,22, тогда как раньше она достигала 4,04 из 5,02. Вы можете проверить только то, что вы изменили. Те же модели, та же правда, даже тот же шум показывает – единственная разница между двумя запусками заключается в том, насколько изменились расходы. Контрольная выборка – это настоящий тест, и она мгновенно выявила модель без медиа, в обоих случаях. Чего она не может сделать, так это разрешить разногласия по поводу части кривой отклика, которую ваши расходы никогда не посещали. Это то же самое предложение, что и в случае с видео 18, только с другой стороны: часть модели, которую ваши данные никогда не затрагивали, – это часть, которая определяет ваши рекомендации, и часть, которую не может проверить контрольная выборка. Если вы хотите узнать, чего стоит канал вне того места, где вы обычно тратите деньги, вам нужно тратить деньги вне того места, где вы обычно тратите деньги. Подробнее о том, как мы это делаем: https://www.partnersinsights.org Часть 19 серии о моделировании маркетингового микса. Вручную, без кода. #МоделированиеМаркетинговогоМикса #MMM #Валидация #Бэктестинг #Отложеннаятестировка #НаукаОДанные