Почему качественная модель данных делает вашу команду более готовой к работе с ИИ

Получите руководство для начинающих по моделированию данных (бесплатно): https://bit.ly/starter-modeling Сотрудничайте со мной для модернизации вашего хранилища данных: https://bit.ly/kdsconsulting --- Хорошо структурированная модель данных — один из наиболее эффективных способов подготовить ваши данные к использованию ИИ, и она окупается с точки зрения точности, стоимости и масштабируемости. Когда вы заранее определяете свои сущности, факты, измерения и связи, инструменту ИИ не нужно выяснять, кто такой клиент или как связаны две таблицы. Он получает данные, которые вы уже проверили, поэтому полученные результаты более надежны и вам легче защитить их, когда кто-то ставит под сомнение. Кроме того, для выполнения этой работы требуется меньше рассуждений, что означает меньшее количество токенов и возможность запуска более дешевой модели. А поскольку ваши соглашения записаны, а не хранятся в чьей-то голове, ваша команда и ваши помощники по программированию могут их повторять. Хорошее эмпирическое правило, которое стоит запомнить. Структурируйте данные так, чтобы вы могли использовать технологию, а не наоборот. Этот материал предназначен для руководителей отделов данных и небольших команд, которым поручено использовать ИИ и которые рассматривают возможность направления агента на необработанные данные, чтобы посмотреть, что получится. Если вы действовали быстро и пропускали этап моделирования ради скорости, именно здесь вы теряете деньги. Это первое, на что я обращаю внимание, прежде чем команда возьмется за какой-либо сценарий использования ИИ. ЧТО РАССМОТРЕНО 0:00 Почему хорошая модель данных делает команды готовыми к ИИ 0:36 Как понятная модель данных повышает точность вашего ИИ 4:58 Как хорошая модель данных снижает ваши затраты на ИИ 9:04 Как модель данных помогает вашей команде данных масштабироваться 14:15 Что дает вам хорошо структурированная модель данных КЛЮЧЕВЫЕ МОМЕНТЫ Моделирование данных существует уже 30-40 лет, и это по-прежнему самый эффективный способ подготовить ваши данные к ИИ. Если вы передадите логику помощнику по программированию, и что-то пойдет не так, вы не сможете объяснить, что произошло. Не инструмент ИИ отвечает перед вашим менеджером, высшим руководством или клиентами за целостность данных. Это делаете вы. Одна из самых больших затрат в ИИ — это рассуждения. Каждое отношение, которое вы определяете заранее, — это рассуждение, за которое модели не нужно платить. Четкая модель данных позволяет вам указать на более дешевую модель, потенциально с открытым исходным кодом, потому что ей остается меньше вычислять. Если это понятно вам, это будет понятно и ИИ, а это значит, что все работают быстрее. Модель данных не ограничивается одним инструментом. Факты и измерения существуют вне Snowflake, BigQuery или dbt и подключаются к тому, что вы используете поверх них. КЛЮЧЕВЫЕ ТЕРМИНЫ Модель данных Определенная структура ваших данных, которая описывает, что представляют собой сущности, что они означают для бизнеса и как они связаны друг с другом. Сущность То, что важно для бизнеса, например, клиент, заказ или продукт. Определение сущности означает решение, что учитывается, а что нет. Факт Запись о произошедшем событии, например, продажа или отгрузка. Измеримые события, которые вы хотите учесть. Измерение Описательный контекст факта, например, кто был клиентом или какой продукт участвовал. Рассуждение Работа, которую выполняет модель ИИ, чтобы понять что-либо, прежде чем дать ответ. Это та часть, за которую вы платите больше всего. Семантический слой Слой определения поверх вашего хранилища данных, который сообщает инструментам, что означают ваши метрики и сущности. Его качество зависит от качества модели, находящейся под ним. Знания, накопленные в процессе работы с системой Логика и предположения, которые существуют только в чьей-то голове. Агент ИИ не может их прочитать, как и следующий член вашей команды. УПОМЯНУТЫЕ ИНСТРУМЕНТЫ Snowflake, BigQuery, dbt и dbt Cloud, семантические слои и семантические представления, помощники по программированию на основе ИИ РЕСУРСЫ Бесплатное руководство для начинающих по моделированию данных: https://www.kahandatasolutions.com/st... О КОМПАНИИ Kahan Data Solutions помогает небольшим командам, работающим с данными, проектировать и создавать готовые к использованию ИИ хранилища данных. Помимо обучающих материалов на этом канале, я напрямую работаю с лидерами в области данных. Я анализирую ваше текущее хранилище данных, устанавливаю стандарты и рабочие процессы, которые может применять ваша команда, и довожу вашу платформу до состояния, на котором вы сможете строить дальнейшую работу. #DataEngineering #DataModeling #AI