Автоматизация конвейеров данных с помощью Python и GitHub Actions [Разбор кода]
Shaw Talebi
0:00 / 0:00
Автоматизация конвейеров данных с помощью Python и GitHub Actions [Разбор кода]
22 366 просмотров · 2 года назад
Shaw Talebi
102 тыс. подписчиков
22 366 просмотров · 2 года назад
🤝 Ваши инженеры используют Claude, а отделы продаж, эксплуатации и финансов — нет? Я решаю эту проблему для компаний-разработчиков программного обеспечения с численностью персонала от 50 до 200 человек: https://aibuilder.academy/yt/wJ794jLP2Tw
Это шестое видео из серии о Full Stack Data Science. Здесь я использую Python и GitHub Actions для автоматизации конвейера обработки данных БЕСПЛАТНО!
Дополнительные ресурсы:
💻 Пример кода: https://github.com/ShawhinT/data-pipe...
📰 Подробнее: https://medium.com/towards-data-scien...
🛠️ Инженерия данных: • Text Embeddings, Classification, and Seman...
👨🏻💻 Репозиторий приложения машинного обучения: https://github.com/ShawhinT/yt-search
🔍 Пользовательский интерфейс приложения машинного обучения: https://huggingface.co/spaces/shawhin...
--
Главная страница: https://www.shawhintalebi.com/
Вступление - 0:00
Мотивация - 0:32
2 способа автоматизации - 1:28
Способ 1: Инструмент оркестровки - 2:00
Способ 2: Python + триггеры - 3:38
GitHub Actions - 5:56
Пример кода: Автоматизация ETL-конвейера - 7:42
1) Создание скрипта ETL на Python - 8:33
2) Создание репозитория GitHub - 12:21
3) Создание файла Workflow.yml - 13:22
4) Добавление секретов репозитория - 23:50
5) Коммит и отправка - 25:59
Финальное приложение машинного обучения - 28:45