Деррик Цинь — Максимизация токенов — это не стратегия: как получить больше выгоды от каждого токе...

«Максимизация токенов — это не стратегия: как получить больше выгоды от каждого токена в Google Cloud» — доклад Деррика Циня (старшего облачного архитектора DoiT, эксперта Google для разработчиков) Цены на токены упали примерно в 1000 раз за три года, однако к 2026 году 73–93% предприятий превысят свои бюджеты на ИИ, а собственные данные OpenAI не показывают связи между выпуском токенов и доходом. В отрасли это называют «максимизацией токенов»: путают активность с влиянием. Больше токенов — это не больше ценности. В этом докладе мы переворачиваем метрику, которая имеет значение. Вместо оптимизации стоимости за токен мы оптимизируем скорректированную на надежность стоимость за успешно выполненную задачу и видим парадоксальный результат: увеличение затрат на вызов может значительно снизить стоимость эксплуатации системы. Затем мы переходим к практике, полностью на стеке Google. В действии мы берем маршрутизатор с открытым исходным кодом модели Gemini и создаем слой, учитывающий стоимость. Вы сможете сократить свои расходы на Gemini без снижения качества и узнаете стратегии оптимизации использования токенов. О Деррике: Деррик — старший облачный архитектор, специализирующийся на данных и искусственном интеллекте. Он интересуется всем, что связано с Google Cloud и ИИ.