Дилан Патель: через три года только инференс позволит облачным AI-сервисам остаться на плаву

Дилан Патель, основатель SemiAnalysis, беседует с Лукасом Гентеле, генеральным директором vCluster Labs, на саммите AI Infra Summit. Они обсуждают, почему графические процессоры дорожают, даже когда цены на токены падают, что на самом деле отличает топовое облако ИИ от посредственного, а также результаты недавнего исследования SemiAnalysis в области безопасности: уязвимости настолько доступны, что модель может обнаружить их без запроса на кластерах, используемых совместно с государственными учреждениями. Дилан также объясняет, почему мечта о создании собственного полноценного программного стека сталкивается с проблемой нехватки квалифицированных кадров, которую не решает никакое финансирование, почему узкое место в инфраструктуре постоянно перемещается между чипами, источниками питания и оборудованием центров обработки данных, и как, по его мнению, будут выглядеть выжившие облака ИИ через три года. Темы обсуждения: Почему стоимость токена падает, а стоимость вычислительных ресурсов растет Где находится реальный потенциал оптимизации в стеке вывода Как SemiAnalysis использует агентов для сканирования гиперпараметров и настройки производительности Что измеряет ClusterMAX и почему надежность и управляемый Slurm или Kubernetes влияют на ценообразование Пробелы в безопасности облачных вычислений ИИ и почему суверенный ИИ делает их опасными Почему клиенты арендуют целые площадки вместо того, чтобы доверять общей инфраструктуре Эстафета «узкого места» в 2027 году Почему именно вывод, а не общая мощность, определяет, кто выживет Разделы 0:00 Введение на AI Infra Summit 0:21 Почему H100 сейчас стоит больше, чем три года назад 1:49 Что на самом деле может оптимизировать облачное вычисление ИИ в стеке? 3:15 Агенты берут на себя настройку вывода 4:15 ClusterMAX: что отличает золотой уровень от серебряного 5:48 Лучшее программное обеспечение означает лучшую прибыль 6:19 "Скажите модели найти уязвимости, и она их найдет" 7:41 Обнаружение агентств национальной безопасности на кластере, к которому у них был доступ 8:46 Открытый исходный код CLI ClusterMAX 9:23 В SemiAnalysis работает более 110 человек 9:48 Сделки по закупке оборудования без привязки к оператору, Мемфис и аренда на миллиард долларов 10:51 Почему плохая безопасность вынуждает клиентов арендовать весь объект 11:23 Эластичная палочка-выручалочка: чипы, электроэнергия, газопроводы, 2027 год 13:05 Могут ли более 200 облачных платформ ИИ создать свой собственный программный стек? 14:52 Скорость выхода на рынок против найма команды из 30 человек 15:47 Через три года существующие облачные решения для ИИ сделают это 16:19 Выполнение задач в рамках одного клиента против публичных конечных точек 16:58 Заключение О Дилане Пателе Основатель SemiAnalysis, исследовательской компании, отслеживающей полупроводники, центры обработки данных и цепочки поставок инфраструктуры ИИ. SemiAnalysis публикует ClusterMAX, систему рейтингов для поставщиков облачных услуг с графическими процессорами, и InferenceMAX, проект с открытым исходным кодом для бенчмаркинга и оптимизации выполнения задач. https://semianalysis.com О vCluster Labs vCluster Labs создает программный слой для инфраструктуры ИИ. vCluster предоставляет полностью изолированные кластеры для клиентов для Kubernetes, Slurm, выполнения задач и рабочих нагрузок Ray. vNode обеспечивает изоляцию клиентов во время выполнения контейнеров. vMetal автоматизирует предоставление физических серверов и виртуальных машин. https://www.vcluster.com #AIInfrastructure #GPU #Kubernetes #SemiAnalysis #vCluster #Inference #DataCenters