Создание масштабируемого конвейера аналитики для больницы | Кейс Medblocks x Sparsh Hospital

Сеть больниц Sparsh Hospitals в Индии, обслуживающая около миллиона пациентов, попросила нас создать аналитический конвейер на основе их электронных медицинских карт и данных о выставлении счетов в MySQL. Проект растянулся на шесть месяцев и опроверг большинство наших предположений об обработке данных в здравоохранении. 150 ГБ данных, 100 миллионов записей о выставлении счетов и нулевые временные метки, которые сделали инкрементальную загрузку невозможной. PostgreSQL зависал на 40-50 минут и больше не возвращался. Я расскажу о том, что действительно сработало: отслеживание изменений данных с помощью Airbyte и Debezium, Apache Iceberg на S3 и Trino на Kubernetes. Вычислительная мощность осталась той же, что и на исходной виртуальной машине, время выполнения запросов менее 10 минут. Если вы хотите узнать о FHIR и получить сертификат, пройдите этот бесплатный курс по FHIR: https://medblocks.com/l/fhirbuild-y34 Ссылка на полный пример из практики: https://medblocks.com/blog/hospital-d... Запишитесь на бесплатную консультацию: https://medblocks.com/contact Разделы: 00:00 - Аналитический конвейер Sparsh Hospitals 00:53 - Начальный стек: dlt и Postgres 02:45 - Данные о выставлении счетов и "осиротевшие" записи 03:26 - Postgres зависает на 100 млн строк 04:27 - Нулевые временные метки нарушают инкрементальную загрузку 05:21 - Airbyte и Debezium CDC 05:52 - Результаты TimescaleDB 07:29 - Apache Iceberg на S3 08:32 - Trino против Spark против ClickHouse 09:30 - Финальный конвейер Kubernetes 10:17 - Проверки валидации 11:00 - Уроки, извлеченные из опыта 13:09 - Заключение 🔗 Оставайтесь на связи со мной. 👉LinkedIn:   / sidharthramesh1   👉Веб-сайт: https://medblocks.com/ Для сотрудничества и деловых запросов, пожалуйста, используйте контактную информацию ниже: 📩 Электронная почта: sidharth@medblocks.com ✅ Рекомендуемые плейлисты 👉 Изучение FHIR    • Complete FHIR Tutorial Playlist | Beginner...   👉 Подкаст Digital Health Hackers    • Integrating with US EHRs like Epic and Cer...   ============================= ✅ О Сидхарте Рамеше. Добро пожаловать на мой канал, Сидхарт Рамеш! Присоединяйтесь ко мне, увлеченному врачу (MBBS) и программисту-самоучке, который использует возможности науки о данных для революционизации здравоохранения. Присоединяйтесь к обсуждениям инноваций в цифровом здравоохранении, науки о данных в здравоохранении и будущего медицинских технологий. Воспользуйтесь ценными знаниями из подкаста Digital Health Hackers и изучите такие темы, как интеграция FHIR в здравоохранение и электронные медицинские карты. Давайте вместе отправимся в путешествие по трансформации здравоохранения! ================================= #healthit #healthtech #healthcareit #healthcareinnovation #dataanalytics #mysql #postgresql #emr #datapipelines ⚠️Отказ от ответственности: Я не несу никакой ответственности за любые убытки или ущерб, понесенные вами в результате действий или бездействия, совершенных вами после просмотра моих публикаций. Вы признаете, что используете предоставленную мной информацию на свой страх и риск. Проведите собственное исследование. Уведомление об авторских правах: Это видео и мой канал на YouTube содержат диалоги, музыку и изображения, являющиеся собственностью Сидхарта Рамеша. Вы имеете право делиться ссылкой на видео и канал, а также встраивать это видео на свой веб-сайт или другие ресурсы при условии предоставления ссылки на мой канал на YouTube. © Сидхарт Рамеш