Apache NiFi: Разбор JSON из REST API и запись в PostgreSQL (пошаговое руководство)

Добро пожаловать во вторую часть нашей серии уроков по Apache NiFi ETL! В этом практическом руководстве мы шаг за шагом создадим и настроим весь конвейер обработки данных с нуля на платформе NiFi Canvas. Мы настроим каждый процессор для планирования опроса API, выполнения HTTP GET-запросов к REST API OpenWeatherMap, анализа и преобразования JSON-данных, настройки пула соединений с базой данных (DBCP) и надежной вставки записей в PostgreSQL. 🔗 Пропустили первую часть? Смотрите обзор архитектуры здесь:    • REST API to PostgreSQL with Apache NiFi: S...   ⏱️ ВРЕМЕННЫЕ МЕТКИ 00:00 - Введение и обзор 01:21 - Настройка GenerateFlowFile и планирования 05:15 - Настройка InvokeHTTP для получения данных REST API 07:59 - Анализ JSON-ответа с помощью EvaluateJsonPath 12:50 - Создание SQL-запроса с помощью ReplaceText 15:10 - Настройка PutSQL и DBCPConnectionPool 17:25 - Включение сервиса и проверка подключения к базе данных 18:47 - Запуск потока и проверка потока данных 19:44 - Резюме и анонс следующего эпизода 🛠️ Необходимые условия: • Установленный и работающий Apache NiFi • Созданный экземпляр базы данных PostgreSQL + таблица • Бесплатный ключ API OpenWeatherMap • PostgreSQL Драйвер JDBC (.jar файл) 💬 Сообщите мне в комментариях, если у вас возникли проблемы с настройкой процессоров! 🔔 Подпишитесь, чтобы быть в курсе будущих уроков по проектированию данных, потоковой архитектуре и интеграции IoT. #ApacheNiFi #PostgreSQL #DataPipeline #DataEngineering #ETL #Database #NiFiTutorial