Отслеживание удалений в CMDB ServiceNow с помощью Stream Connect CDC в Databricks

0:00 Введение — вопрос клиента, лежащий в основе этой сборки 0:28 Зачем объединять CMDB и инвентаризацию активов в ServiceNow 1:33 Коннекторы Service Graph и IRE 2:26 Вопрос: отчетность по удаленному программному обеспечению 3:19 Что происходит, когда Java исчезает с сервера 4:36 Почему CDC Stream Producer подходит для решения этой проблемы 5:27 Архитектура от начала до конца 7:03 Демонстрация: настройка Stream Producer 8:49 Event Hub в Azure 10:04 Запуск реальных вставок, обновлений и удалений 12:55 Анализ событий — и почему удаления содержат только sys_id 14:07 Внесение событий в таблицу Databricks bronze 16:00 Итоги и компромиссы архитектуры Когда SCCM или Jamf перестают сообщать о программном обеспечении, ServiceNow удаляет эту запись об установке из CMDB. Строка исчезает — как же тогда составить отчет о том, что было удалено и когда? Этот вопрос поступил от реального клиента: они хотят использовать ServiceNow в качестве источника достоверной информации для CMDB и данных об активах, а Service Graph Connectors и механизм идентификации и согласования будут обеспечивать качество данных из разных источников — но они также хотят иметь согласованную историю в Databricks, включая удаления. Водяной знак или инкрементальное извлечение никогда не увидят удаленную строку; нет обновленной метки времени для записи, которая больше не существует. В этом пошаговом руководстве показана работающая схема: генератор потока Change Data Capture Stream Producer на таблице установки программного обеспечения, захватывающий вставки, обновления и удаления — включая массовые удаления, выполняемые на уровне базы данных, а не только удаления по бизнес-правилам — передающий данные в Azure Event Hub и попадающий в таблицу Databricks Bronze. Что рассматривается: • Почему ServiceNow CMDB — подходящее место для согласования данных из нескольких источников — Коннекторы Service Graph и IRE • Проблема клиента: отчетность по удаленному программному обеспечению • Настройка производителя потоков CDC в таблице установки программного обеспечения • Псевдонимы тем и сопоставление одного из них с Azure Event Hub • Отслеживание реальных событий вставки, обновления и удаления, поступающих в Event Hub • Анализ полезной нагрузки Kafka — и почему событие удаления содержит только идентификатор записи sys_id • Чтение из Event Hub в таблицу Databricks Bronze с помощью ноутбука • Дальнейшее развитие: уровни Silver и Gold, Power BI или ServiceNow Автономный анализ данных Одно честное замечание об архитектуре: если цель — отчетность, а не объединение данных ServiceNow с другими источниками в Lakehouse, эти данные могут оставаться на платформе. Автономный анализ данных подключается напрямую к экземпляру и выполняет запросы непосредственно на месте. Путь от Event Hub к Databricks — это верный вариант, когда конечной целью действительно является отдых в доме у озера.