Перейти к содержимому

Автоматизация конвейеров данных с помощью Python и GitHub Actions [Разбор кода]

Shaw Talebi

0:00 / 0:00

Автоматизация конвейеров данных с помощью Python и GitHub Actions [Разбор кода]

22 366 просмотров · 2 года назад
Shaw Talebi
102 тыс. подписчиков
22 366 просмотров · 2 года назад
🤝 Ваши инженеры используют Claude, а отделы продаж, эксплуатации и финансов — нет? Я решаю эту проблему для компаний-разработчиков программного обеспечения с численностью персонала от 50 до 200 человек: https://aibuilder.academy/yt/wJ794jLP2Tw Это шестое видео из серии о Full Stack Data Science. Здесь я использую Python и GitHub Actions для автоматизации конвейера обработки данных БЕСПЛАТНО! Дополнительные ресурсы: 💻 Пример кода: https://github.com/ShawhinT/data-pipe... 📰 Подробнее: https://medium.com/towards-data-scien... 🛠️ Инженерия данных:    • Text Embeddings, Classification, and Seman...   👨🏻‍💻 Репозиторий приложения машинного обучения: https://github.com/ShawhinT/yt-search 🔍 Пользовательский интерфейс приложения машинного обучения: https://huggingface.co/spaces/shawhin... -- Главная страница: https://www.shawhintalebi.com/ Вступление - 0:00 Мотивация - 0:32 2 способа автоматизации - 1:28 Способ 1: Инструмент оркестровки - 2:00 Способ 2: Python + триггеры - 3:38 GitHub Actions - 5:56 Пример кода: Автоматизация ETL-конвейера - 7:42 1) Создание скрипта ETL на Python - 8:33 2) Создание репозитория GitHub - 12:21 3) Создание файла Workflow.yml - 13:22 4) Добавление секретов репозитория - 23:50 5) Коммит и отправка - 25:59 Финальное приложение машинного обучения - 28:45