Apache nifi - перегоняем таблички из SQL Server в BigQuery

Запись пары демок, что бы не забылось, ключевые моменты на которые нужно обращать внимание: Настройки schedule execution - primary node - иначе будет N срабатываний При вычитке огромных табличек есть смысл выставлять max rows per flow file, что бы разбить на куски, но тогда важно не забыть, что если в bigquery будет стоять write_truncate - то каждый кусок будет просто перетирать предыдущие Так же не менее полезная настройка maximum-value-columns, благодаря которой можно обновлять данные скажем не раз в день, а раз в минуту Еще из того что забыл в видео упомянуть, там где тестировал два флов с вычиткой за вчера (то что не запускали) использовал GenerateTableFetch за вместо QueryDatabaseTable, оба делают одно и тоже, но первый выдает SQL запрос который затем нужно передавать в ExecuteSQL, в нашем случае удобно так как мы его по сути перехватываем и смотрим что оно собирается выполнить - в случае с expressions - удобно посмотреть что будет выполнено по концовке