Перейти к содержимому

Как выполнить ETL-процесс с помощью AWS Lambda на Python | AWS | Lambda | Python | Слои Lambda

BI Insights Inc

0:00 / 0:00

Как выполнить ETL-процесс с помощью AWS Lambda на Python | AWS | Lambda | Python | Слои Lambda

9 207 просмотров · 4 г. назад
BI Insights Inc
19,8 тыс. подписчиков
9 207 просмотров · 4 г. назад
В этом видео мы разработаем ETL-скрипт для AWS Lambda на Python. С помощью Python-скриптов в AWS Lambda можно запускать небольшие и средние по размеру ETL-процессы (извлечение, преобразование и загрузка данных). В среде Lambda Python-скрипты совместимы с Python 2 и 3 и поставляются с предустановленными библиотеками, такими как Boto3, Numpy, SciPy, pandas и другими. Также можно установить другие библиотеки через ZIP-архив. Ссылка на код, GitHub: https://github.com/hnawaz007/pythonda... Ссылка на статью по этой теме, Medium: https://blog.devgenius.io/how-to-perf... Переменные среды AWS Lambda: https://docs.aws.amazon.com/lambda/la... Подпишитесь на наш канал:    / haqnawaz   --------------------------------------------- Следите за мной в социальных сетях! GitHub: https://github.com/hnawaz007 Instagram:   / bi_insights_inc   LinkedIn:   / haq-nawaz   --------------------------------------------- #Python #ETL #awslambda Темы, затронутые в этом видео: 0:00 - Введение в AWS Lambda 1:31 - Обзор ETL с Lambda 2:00 - Создание zip-файла Python 3:23 - Создание слоя в AWS с помощью zip-файла 4:17 - Написание функции Lambda 5:11 - Импорт библиотек из слоя 6:11 - Код ETL-скрипта 6:29 - Переменные среды Lambda 8:07 - Выполнение функции Lambda для загрузки данных 8:18 - Обзор таблицы Redshift