Як ми перестали будувати аналітику в коді: CDC, BigQuery і нова роль Data Engineer - Йожеф Гісем

🚀👨‍💻 Друзі, уже за місяць зустрінемось з вами на новій масштабній події для інженерів, Tech Leads, Software Architects та Engineering Managers, які створюють software в епоху AI! 👉 https://fwdays.com/event/tech-summit-26 Відео з конференції Highload fwdays'26, яка пройшла 6 червня 2026 року https://fwdays.com/event/highload-fwd... Опис доповіді: У багатьох системах аналітика будується прямо в backend: події, воркери, enrichment через десятки запитів до бази та виклики інших сервісів. У нашому випадку один аналітичний event генерував до 10 звернень у БД, що при масштабі в мільйони подій створювало значне навантаження на production. У цій доповіді я розповім, як ми повністю змінили підхід: перейшли від application events до CDC через Debezium; почали віддавати зміни з кожної таблиці напряму в data pipeline; перенесли enrichment та агрегації в BigQuery; і фактично прибрали аналітичне навантаження з backend-сервісів. У результаті: ми позбулися мільйонів read-запитів до production бази; зменшили складність backend-коду; відокремили OLTP від аналітики; і зробили побудову аналітики значно швидшою. Окремо поговоримо про неочевидний ефект: тепер для побудови нових аналітичних сценаріїв достатньо одного Data Engineer, ERD-схеми та сучасних AI-інструментів — без залучення backend-команди і без змін у продакшн-коді. Також розглянемо: де CDC реально дає виграш, а де ні; які проблеми з’являються (lag, дублікати, schema changes); як змінюється вартість системи; і чому “ті самі дані” в новій архітектурі — це не безкоштовно. Сторінка доповіді та презентації: https://fwdays.com/event/highload-fwd... Більше доповідей та відео за темою конференції: https://fwdays.com/event/highload-fwd... Понад 16 років Fwdays займається організацією масштабних конференцій та навчанням для розробників таких напрямків: JavaScript, .NET, Python, Data Science, PHP, QA, Highload, Architecture, DevOps, Databases. Більше інформації про актуальні події: https://fwdays.com/events Підписуйтесь, щоб першими дізнаватися про старт продажів квитків за найбільш вигідною ціною: Telegram: https://t.me/fwdays Facebook:   / fwdays   Twitter:   / fwdays