Как выполнить ETL-процесс с помощью AWS Lambda на Python | AWS | Lambda | Python | Слои Lambda
BI Insights Inc
0:00 / 0:00
Как выполнить ETL-процесс с помощью AWS Lambda на Python | AWS | Lambda | Python | Слои Lambda
9 207 просмотров · 4 г. назад
BI Insights Inc
19,8 тыс. подписчиков
9 207 просмотров · 4 г. назад
В этом видео мы разработаем ETL-скрипт для AWS Lambda на Python. С помощью Python-скриптов в AWS Lambda можно запускать небольшие и средние по размеру ETL-процессы (извлечение, преобразование и загрузка данных). В среде Lambda Python-скрипты совместимы с Python 2 и 3 и поставляются с предустановленными библиотеками, такими как Boto3, Numpy, SciPy, pandas и другими. Также можно установить другие библиотеки через ZIP-архив.
Ссылка на код, GitHub: https://github.com/hnawaz007/pythonda...
Ссылка на статью по этой теме, Medium: https://blog.devgenius.io/how-to-perf...
Переменные среды AWS Lambda: https://docs.aws.amazon.com/lambda/la...
Подпишитесь на наш канал:
/ haqnawaz
---------------------------------------------
Следите за мной в социальных сетях!
GitHub: https://github.com/hnawaz007
Instagram: / bi_insights_inc
LinkedIn: / haq-nawaz
---------------------------------------------
#Python #ETL #awslambda
Темы, затронутые в этом видео:
0:00 - Введение в AWS Lambda
1:31 - Обзор ETL с Lambda
2:00 - Создание zip-файла Python
3:23 - Создание слоя в AWS с помощью zip-файла
4:17 - Написание функции Lambda
5:11 - Импорт библиотек из слоя
6:11 - Код ETL-скрипта
6:29 - Переменные среды Lambda
8:07 - Выполнение функции Lambda для загрузки данных
8:18 - Обзор таблицы Redshift