Как Cloudflare сэкономили 100 ТБ RAM с помощью математики и Rust
MrTeamlead
0:00 / 0:00
Как Cloudflare сэкономили 100 ТБ RAM с помощью математики и Rust
13 730 просмотров · 12 часов назад
MrTeamlead
11,1 тыс. подписчиков
13 730 просмотров · 12 часов назад
ЗАПИСЬ НА 3-Й ПОТОК КУРСА: https://blazing.academy/
https://forms.gle/nCFBVs9np79wemad8
Канал в Telegram: https://t.me/mrteamlead
Разбираем реальный кейс оптимизации от Cloudflare: как инженеры освободили 100 ТБ оперативной памяти в глобальной сети с помощью консистентного хеширования (Consistent Hashing), пересмотра виртуальных узлов и низкоуровневой упаковки структур данных в Rust.
В видео разберем: • Проблемы наивного шардинга через остаток от деления и почему нужен Consistent Hashing. • Как устроено хеш-кольцо (библиотека Ketama) и зачем на самом деле нужны виртуальные узлы. • Выравнивание памяти (padding) в Rust: почему структура из u32 + u16 занимает 8 байт вместо 6. • Как компактный массив [u8; 6] срезал 25% объема структур и почему unwrap() здесь абсолютно безопасен.
🔗 Оригинальная статья Cloudflare: https://blog.cloudflare.com/saving-10...
⏱️ Таймкоды:
00:00 — Введение: как сэкономить 100 ТБ памяти
01:30 — Почему наивный шардинг (hash % N) ломает распределение
04:15 — Что такое Consistent Hashing и как устроено кольцо
08:40 — Добавление и падение серверов: минимизируем перемещение ключей
11:10 — Виртуальные узлы и дисперсия распределения
14:20 — Низкоуровневая оптимизация в Rust: выравнивание структур и паддинг
16:15 — Упаковываем данные в [u8; 6] и срезаем 25% памяти
18:45 — Математика vs железо: как Cloudflare убрали 90% лишних хешей
20:30 — Итоги и выводы для архитектуры
💬 Напишите в комментариях: сталкивались ли вы с оптимизацией паддинга в структурах в продакшене и приходилось ли реализовывать консистентное хеширование своими руками?
Не забудьте поставить лайк и подписаться на канал, если любите глубокий технический контент!
#rust #cloudflare #programming #backend #architecture #devops