Apache Nifi | Поток данных в авиации | Обработка данных с помощью процессора JoltTransform | Часть 2

Подпишитесь на уведомления о новых загрузках! Ресурсы: Nifi - https://nifi.apache.org/download.html Aviationstack - https://aviationstack.com/ Apache NiFi поддерживает мощные и масштабируемые направленные графы маршрутизации, преобразования данных и логики системного посредничества. Некоторые из основных возможностей и целей Apache NiFi включают: Веб-интерфейс Удобное взаимодействие между проектированием, управлением, обратной связью и мониторингом Широкие возможности настройки Устойчивость к потерям и гарантированная доставка Низкая задержка и высокая пропускная способность Динамическая приоритизация Поток данных можно изменять во время выполнения Обратное давление Происхождение данных Отслеживание потока данных от начала до конца Разработано для расширения Создавайте собственные процессоры и многое другое Обеспечивает быструю разработку и эффективное тестирование Безопасный SSL, SSH, HTTPS, шифрование контента и т. д. Многопользовательская авторизация и внутренняя авторизация/управление политиками Что такое Apache NiFi? Проще говоря, NiFi был создан для автоматизации потока данных между системами. Хотя термин «поток данных» используется в различных контекстах, здесь мы используем его для обозначения автоматизированного и управляемого потока информации между системами. Эта проблема существует с тех пор, как на предприятиях появилось несколько систем, некоторые из которых создавали данные, а некоторые потребляли их. Процессоры AttributeRollingWindow AttributesToCSV AttributesToJSON CaptureChangeMySQL CompareFuzzyHash CompressContent ConnectWebSocket ConsumeAMQP ConsumeAzureEventHub ConsumeEWS ConsumeGCPubSub ConsumeIMAP ConsumeJMS ConsumeKafka ConsumeKafka_0_10 ConsumeKafka_0_11 ConsumeKafka_1_0 ConsumeKafka_2_0 ConsumeKafkaRecord_0_10 ConsumeKafkaRecord_0_11 ConsumeKafkaRecord_1_0 ConsumeKafkaRecord_2_0 ConsumeMQTT ConsumePOP3 ConsumeWindowsEventLog ControlRate Преобразовать Avro в JSON Преобразовать Avro в ORC Преобразовать Avro в Parquet Преобразовать набор символов Преобразовать Excel в CSVProcessor Преобразовать JSON в SQL Преобразовать запись Количество текстов Удалить DynamoDB Удалить GridFS Удалить HBaseCells Удалить HBaseRow Удалить HDFS Удалить Mongo Удалить RethinkDB Удалить S3Object Удалить SQS Обнаружить дубликат Распределить загрузку DuplicateFlowFile Шифровать содержимое Принудительный порядок Вычислить путь Json Вычислить путь XP Вычислить запрос X Выполнить GroovyScript Выполнить InfluxDBQuery Выполнить процесс Выполнить скрипт Выполнить SparkInteractive Выполнить SQL Выполнить SQLRecord ExecuteStreamCommand ExtractAvroMetadata ExtractCCDAAttributes ExtractEmailAttachments ExtractEmailAttachments ExtractEmailHeaders ExtractGrok ExtractHL7Attributes ExtractText ExtractTNEFAttachments FetchAzureBlobStorage FetchDistributedMapCache FetchElasticsearch FetchElasticsearch5 FetchElasticsearchHttp FetchFile FetchFTP FetchGCSObject FetchGridFS FetchHBaseRow FetchHDFS FetchParquet FetchS3Object FetchSFTP FlattenJson ForkRecord FuzzyHashContent GenerateFlowFile GenerateTableFetch GeoEnrichIP GeoEnrichIPRecord GetAzureEventHub GetAzureQueueStorage GetCouchbaseKey GetDynamoDB GetFile GetFTP GetHBase GetHDFS GetHDFSEvents GetHDFSFileInfo GetHDFSSequenceFile GetHTMLElement GetHTTP GetIgniteCache GetJMSQueue GetJMSTopic GetMongo GetMongoRecord GetRethinkDB GetSFTP GetSNMP GetSolr GetSplunk GetSQS GetTCP GetTwitter HandleHttpRequest HandleHttpResponse HashAttribute HashContent IdentifyMimeType InvokeAWSGatewayApi InvokeGRPC InvokeHTTP InvokeScriptedProcessor ISPEnrichIP JoltTransformJSON JoltTransformRecord JsonQueryElasticsearch ListAzureBlobStorage ListDatabaseTables ListBeats ListGRPC ListHTTP ListLumberjack ListRELP ListSMTP ListSyslog ListTCP ListTCPRecord ListUDP ListUDPRecord ListWebSocket ListFile ListFTP ListGCSBucket ListHDFS ListS3 ListSFTP LogAttribute LogMessage ListupAttribute ListupRecord MergeContent MergeRecord ModifyBytes ModifyHTMLElement MonitorActivity MoveHDFS Notify ParseCEF ParseEvtx ParseNetflowv5 ParseSyslog ParseSyslog5424 PartitionRecord PostHTTP PostSlack PublishAMQP PublishGCPubSub PublishJMS PublishKafka PublishKafka_0_10 PublishKafka_0_11 PublishKafka_1_0 PublishKafka_2_0 PublishKafkaRecord_0_10 PublishKafkaRecord_0_11 PublishKafkaRecord_1_0 PublishKafkaRecord_2_0