Перейти к содержимому

Как Cloudflare сэкономили 100 ТБ RAM с помощью математики и Rust

MrTeamlead

0:00 / 0:00

Как Cloudflare сэкономили 100 ТБ RAM с помощью математики и Rust

13 730 просмотров · 12 часов назад
MrTeamlead
11,1 тыс. подписчиков
13 730 просмотров · 12 часов назад
ЗАПИСЬ НА 3-Й ПОТОК КУРСА: https://blazing.academy/ https://forms.gle/nCFBVs9np79wemad8 Канал в Telegram: https://t.me/mrteamlead Разбираем реальный кейс оптимизации от Cloudflare: как инженеры освободили 100 ТБ оперативной памяти в глобальной сети с помощью консистентного хеширования (Consistent Hashing), пересмотра виртуальных узлов и низкоуровневой упаковки структур данных в Rust. В видео разберем: • Проблемы наивного шардинга через остаток от деления и почему нужен Consistent Hashing. • Как устроено хеш-кольцо (библиотека Ketama) и зачем на самом деле нужны виртуальные узлы. • Выравнивание памяти (padding) в Rust: почему структура из u32 + u16 занимает 8 байт вместо 6. • Как компактный массив [u8; 6] срезал 25% объема структур и почему unwrap() здесь абсолютно безопасен. 🔗 Оригинальная статья Cloudflare: https://blog.cloudflare.com/saving-10... ⏱️ Таймкоды: 00:00 — Введение: как сэкономить 100 ТБ памяти 01:30 — Почему наивный шардинг (hash % N) ломает распределение 04:15 — Что такое Consistent Hashing и как устроено кольцо 08:40 — Добавление и падение серверов: минимизируем перемещение ключей 11:10 — Виртуальные узлы и дисперсия распределения 14:20 — Низкоуровневая оптимизация в Rust: выравнивание структур и паддинг 16:15 — Упаковываем данные в [u8; 6] и срезаем 25% памяти 18:45 — Математика vs железо: как Cloudflare убрали 90% лишних хешей 20:30 — Итоги и выводы для архитектуры 💬 Напишите в комментариях: сталкивались ли вы с оптимизацией паддинга в структурах в продакшене и приходилось ли реализовывать консистентное хеширование своими руками? Не забудьте поставить лайк и подписаться на канал, если любите глубокий технический контент! #rust #cloudflare #programming #backend #architecture #devops