Обработка больших JSON-файлов без исчерпания памяти — Итамар Тернер-Трауринг

Если вам нужно обработать большой JSON-файл на Python, очень легко исчерпать память при загрузке данных, что может привести к очень медленному выполнению или сбоям из-за нехватки памяти. Если вы работаете в облаке, вы можете приобрести машину с большим объёмом памяти, но это означает более высокие затраты. Как обрабатывать такие большие файлы, не исчерпывая память? В этом докладе вы узнаете: Как измерить использование памяти. Некоторые причины, по которым загрузка JSON занимает так много памяти. Затем вы узнаете о некоторых решениях этой проблемы: Использование более эффективного представления в памяти. Загрузка только необходимого подмножества данных. Потоковый парсинг, который может парсить файлы произвольного размера, используя фиксированный объём памяти. Использование другого формата файла, например, JSON Lines.