AI FinOps != Cloud FinOps: выстраивание наблюдаемости расходов на ИИ

Рем Бауманн, руководитель отдела продуктов Vantage, и Гауранг «Джи» Мавадия (специалист по облачным технологиям) из Demandbase объясняют, почему традиционные рычаги FinOps в облаке — зарезервированные экземпляры, планы экономии и ежемесячные оповещения об аномалиях — оказываются неэффективными применительно к расходам на ИИ, которые трудно отследить, сложно отнести к какому-либо источнику и сложно контролировать. Джи рассказывает, как небольшая команда FinOps в Demandbase направляет каждый запрос к ИИ через прокси-сервер LLM для обеспечения видимости, контроля и атрибуции, используя ключи прокси-сервера с областью действия, теги и метаданные на уровне заголовков, чтобы ответить на вопрос, кто и на что тратит деньги, и сколько стоит предоставление ИИ клиентам по сравнению с затратами на НИОКР. Они рассматривают схемы контроля для неконтролируемых агентов и проблемных арендаторов, использование FOCUS для нормализации журналов прокси-сервера, а также то, как обе команды используют своих собственных агентов ИИ (Claudia от Demandbase и агент Vantage плюс сервер MCP) для мониторинга затрат на ИИ в объеме, с которым команда из двух человек не смогла бы справиться вручную. 00:00 Вступление: Почему инвестиции в ИИ разрушают традиционные облачные FinOps 06:18 Проблема: Трудно увидеть, трудно определить авторство, трудно контролировать 12:31 Прокси LLM: Видимость, ограниченные ключи и границы авторизации 18:43 От наблюдаемости к обеспечению соблюдения и токеномика на практике 28:44 Что дальше, выводы и где наблюдаемость встречается с FinOps 35:24 Вопросы и ответы аудитории Посмотрите выступление первого дня и объявление Фонда токеномики: https://www.youtube.com/live/W4g8xvduIbs Посмотрите выступление второго дня: https://www.youtube.com/live/vyQTW0PLw7A Узнайте больше о токеномике: https://tokeneconomics.com https://x.finops.org https://join.finops.org #FinOps #FinOpsX #AISpend #Observability #Tokenomics