Перейти к содержимому

Алексей Рагозин — Spring REST-гигантомания: особенности работы с мультигигабайтными POST-запросами

Joker — Конференция о будущем разработки

0:00 / 0:00

Алексей Рагозин — Spring REST-гигантомания: особенности работы с мультигигабайтными POST-запросами

4 297 просмотров · 2 г. назад
Joker — Конференция о будущем разработки
57,8 тыс. подписчиков
4 297 просмотров · 2 г. назад
Подробнее о Java-конференциях: — весной — JPoint: https://jrg.su/gTrwHx — осенью — Joker: https://jrg.su/h7yvG4 — — Скачать презентацию с сайта JPoint — https://jrg.su/m4c7EV Теоретически HTTP-запросы не имеют ограничений на размер. Разумеется, мы предполагаем «разумные» размеры, но что, если ваш коллега-data scientist считает датасет в 10 гигабайтов разумным размером? Можно спорить, разумно или нет отправлять 10 Гб одним POST-запросом, но может получиться так, что время споров уже позади, а результат необходим вчера. В докладе речь идет о реализации потоковой обработки данных в условиях ограниченной памяти и неограниченного размера запроса на фреймворке Spring. Разбираем 4 кейса: отправка данных по HTTP, получение данных по HTTP, запись в PostgreSQL, чтение из PostgreSQL. Даже если вы думаете, что POST-запрос на 10 гигабайтов — это плохая идея, техники потоковой обработки данных заслуживают право на существование. Потоковая обработка может обеспечить более эффективное использование ресурсов и «защиту от дурака» и в менее спорных архитектурных решениях.