Что такое признак? Feature engineering для дата-инженеров

Две команды спрашивают, сколько заказов разместил клиент 5 за 30 дней. Одна получает 13, другая — 15, и обе оказываются правы. Это число — признак, и именно он за него отвечает. Это объяснение проектирования признаков со стороны конвейера обработки данных, а не со стороны блокнота. Я рассказываю, что такое признак на самом деле (значение, относящееся к одному объекту в определенный момент времени), к четырем семействам признаков и о проблеме искажения при обучении: скрытая ошибка, когда одно определение существует дважды, и 706 из 1000 клиентов получают два разных значения. Затем о том, где должен храниться признак (блокнот, модель DBT в хранилище данных или хранилище признаков, такое как Feast), когда следует покупать внешние сигналы вместо их создания, и о корректности на определенный момент времени: как утечка данных при соединении привела к тому, что признак стал выглядеть более чем в четыре раза более предсказуемым, чем он есть на самом деле, и как соединение DuckDB ASOF исправляет это. Наконец, четыре строки, которые должны быть написаны над каждым признаком, чтобы он сохранился после следующего изменения. ⏱️ Разделы 0:00 - Две команды, одна функция, два ответа 0:30 - Что рассматривается в этом видео 1:23 - Что такое функция на самом деле 2:23 - Четыре семейства функций 3:45 - Асимметрия при обучении: скрытая ошибка 5:08 - Где хранятся функции: ноутбук, хранилище, хранилище данных 6:19 - Покупка функций: внешние сигналы 7:27 - Корректность на определенный момент времени 8:48 - Как утечка влияет на ваши показатели 10:22 - Как задокументировать функцию, чтобы она сохранилась 11:28 - Краткий обзор 12:02 - Когда вам не нужно хранилище функций 🔗 Ссылки Feast: https://feast.dev PredictHQ: https://www.predicthq.com DuckDB ASOF join: https://duckdb.org/docs/guides/sql_fe... dbt: https://www.getdbt.com #featureengineering #featurestore #dataengineering #featureengineering #featurestore #Feast #trainingservingskew #pointintimecorrectness #dataleakage #dataengineering #machinelearning #MLOps #DuckDB #dbt #asofjoin #PredictHQ #mlfeatures