Вы неправильно начинаете ответ на интервью по системному дизайну (что первым делом делают Senior ...

Интервьюер говорит, что наш ночной ETL-процесс постоянно не срабатывает к 6 утра, и никто это не задокументировал. Нужно его перепроектировать. Через тридцать секунд большинство ответов уже упоминают Kafka и Spark на доске. В этом видео мы разберем эту проблему в десять шагов, в том порядке, в котором я бы хотел, чтобы ее решал опытный инженер по данным: сначала вопросы и цифры, затем пакетная или потоковая обработка, извлечение данных, слои, модель, безопасные повторные запуски, обслуживание и проверка бизнес-логики. В конце у каждого нарисованного нами квадрата будет обоснование, которое мы сможем произнести вслух. Я более десяти лет занимаюсь разработкой программного обеспечения и систем обработки данных. Цифры в примере вымышлены для обсуждения; технические утверждения проверены по источникам ниже. Мои личные мнения отмечены как мои собственные. Разделы 0:00 Вопрос для интервью 0:27 Кто говорит и пример, который мы будем использовать 1:02 Шаг 1: Уточнение перед рисованием 1:56 Шаг 2: Существует ли уже готовая система? 3:00 Шаг 3: Присвоить этому числовые значения 3:48 Шаг 4: Пакетная или потоковая обработка (Lambda против Kappa) 5:00 Шаг 5: Извлечение данных из Postgres (CDC против опроса) 6:06 Шаг 6: Слои (бронзовый, серебряный, золотой) 7:00 Шаг 7: Модель (звездчатая схема, Data Vault) 8:12 Шаг 8: Задержка данных и безопасные повторные запуски 9:21 Шаг 9: Обслуживание (предварительная агрегация, кэширование, DAX) 10:37 Шаг 10: Будет ли бизнес доволен? 11:29 Моё смелое мнение 12:16 Ваша очередь Проверено по: документации Databricks (архитектура Medallion), блогу Debezium (CDC на основе логов против CDC на основе запросов), документации Delta Lake и Apache Iceberg MERGE INTO, конфигурации Spark SQL spark.sql.sources.partitionOverwriteMode, руководству разработчика AWS DynamoDB Accelerator (DAX), статье 3 GDPR, InfoQ о Lambda и Kappa (Натан Марц; Джей Крепс, 2014), martin.kleppmann.com (Designing Data-Intensive Applications, 2nd edition with Chris Riccomini, March 2026). Видеоматериалы с Pexels: Тима Мирошниченко, Каролина Грабовска (kaboompics), Рон Лах, Дима Кривой, Эмирхан Бал, Bonus Studio, Эркан Аваноглу. Музыка: оригинал. Бесплатная шпаргалка по SQL для собеседования и все видео по темам: https://aramissoftware.fi/yt?utm_sour... Нужна помощь с вашей платформой данных? https://aramissoftware.fi #СистемноеПроектирование #ИнженерДанные #ИнженерДанные