[vLLM Office Hours #58] — Введение в семантический классификатор llm-d — 1 октября 2026 г.

Добро пожаловать на консультации vLLM! Эти встречи, проводимые раз в две недели, — ваш шанс быть в курсе событий в экосистеме vLLM, задавать вопросы и напрямую общаться с участниками проекта и опытными пользователями. Специальная тема этой недели: Введение в семантический классификатор llm-d. Обновление проекта vLLM от основного разработчика Майкла Гоина, охватывающее новый аппаратный бэкенд от Tenstorrent, HiSparse для декодирования разреженного MLA, нативную разгрузку многоуровневого кэша ключ-значение и месяц работы над оптимизацией Kimi K3. Плюс два релиза, v0.29 и v0.30, в которых Model Runner V2 был включен по умолчанию, адаптивная проверка обобщена для всех спекулянтов черновых моделей, добавлена ​​поддержка водяных знаков, а также ускорены запуск и масштабирование. Затем наша специальная тема с Кристофером Нуландом, главным архитектором ИИ в Red Hat: llm-d-sc, легковесный микросервис классификации, созданный для высокой скорости. В то время как маршрутизация с использованием KV-кэша определяет, какой под уже имеет ваш префикс в активном состоянии, семантическая классификация определяет, к какому уровню модели относится запрос. Кристофер рассказывает, почему это было выделено в отдельный сервис, как он интегрируется с llm-d и прокси-сервером Praxis, как он сравнивается с vLLM Semantic Router и Switchyard, что он намеренно не пытается решить, а также рассматривает маршрутизацию на основе доменов на примере разрабатываемого НАСА прототипа. Слайды: https://docs.google.com/presentation/... Хотите присоединиться к обсуждению в прямом эфире на Google Meet? Получите приглашение в календарь, заполнив эту форму: https://red.ht/office-hours Временные метки: 00:00 Вступление 02:09 Обновление проекта vLLM 12:29 Релизы vLLM v0.29 и v0.30 16:35 Подробный анализ семантического классификатора llm-d 42:50 Вопросы и ответы