Этот ИИ обещает ускорение в 200 раз. В чем подвох?

Когда модель ИИ работает внутри вашего программного обеспечения, вам почти никогда не понадобится эссе из пяти абзацев. Вам нужен всего лишь ответ: в какую очередь относится этот запрос в службу поддержки? Нарушает ли этот возврат политику? Является ли эта транзакция мошеннической? Однако традиционные языковые модели заставляют весь ваш бэкэнд ждать несколько секунд, пока они генерируют текстовый токен по одному. 🔔 Подпишитесь:    / @cloud-codes   💙 Станьте участником:    / @cloud-codes   🐦 Twitter/X: https://x.com/cloud_codes 💬 Discord:   / discord   Новая модель TypeSafe, Jev, утверждает, что работает до 200 раз быстрее и в 400 раз дешевле, полностью исключая диалоговый текст. Созданная соавтором InstructGPT Диого Алмейдой, Jev — это система принятия решений «System One», которая выдает только типизированные математические суждения, возвращая калиброванные вероятности для вариантов, определенных вашим кодом, за 70–500 миллисекунд. В этом подробном архитектурном анализе Cloud Codes проверяет, что на самом деле дает «ускорение в 200 раз» в реальном программном обеспечении. Мы отслеживаем запрос в службу поддержки клиентов через примитивы принятия решений Jev (Choice, Noul, Score), чтобы увидеть, где параллельное распределение вопросов экономит время, а где последовательные зависимости остаются неизбежными. Мы развенчиваем утверждение о «нулевом количестве ошибок», показывая, почему гарантированно корректная схема не гарантирует правильный бизнес-результат, и анализируем независимые данные бенчмарка от Every (демонстрирующие 25-кратное ускорение с постоянными ошибками в крайних случаях). Наконец, мы рассчитываем реальные бизнес-расчеты: почему закон Амдала ограничивает прирост производительности на уровне приложения примерно 4,5 раза, и почему 1% ошибок при автоматическом возврате средств может легко свести на нет всю экономию на затратах на проверку человеком. Если этот анализ помог вам понять особенности выполнения ИИ с ограничениями, задержку принятия решений и архитектуру производственных агентов, подпишитесь на Cloud Codes, чтобы получать новый анализ инфраструктуры каждую неделю. Разрабатывать, решать задачи, внедрять. 🔗 Упомянутые ресурсы: • Официальное объявление TypeSafe и модели System One: https://typesafe.ai/blog/introducing-... • Документация TypeSafe и API-контракт: https://docs.typesafe.ai/ • Набор бенчмарков для оценки рабочих процессов TypeSafe: https://evals.typesafe.ai/ • Независимая оценка Every от Майка Тейлора: https://every.to/also-true-for-humans... • Объявление о посевном финансировании DCVC в размере 40 млн долларов: https://www.dcvc.com/news-insights/ty... • Видео на соответствующем канале: «Цикл против графа» Инженерное дело (Когда лучше самостоятельно прокладывать путь): https://www.youtube.com/watch?v=follo... ⏱️ Разделы: 0:00 - Заявление о 200-кратной скорости и подвох 0:13 - Заявка в службу поддержки: почему коду не нужно эссе 0:51 - Диого Алмейда и происхождение InstructGPT 1:20 - Внутри System One: состояние, модели и вопросы 1:51 - Примитив выбора: вероятности против уверенности 2:58 - Почему авторегрессивная генерация заставляет программное обеспечение ждать 4:10 - Параллельные вопросы: устранение последовательной задержки 5:54 - Noul и оценка: бинарные шансы и упорядоченные шкалы 7:03 - Ловушка уверенности: вероятность против калибровки 8:47 - Миф о «галлюцинации нуля» (Допустимые типы против истины) 9:06 - Аудит бенчмарка 200×: Избранные рабочие процессы 10:55 - Независимый тест: Майк Тейлор в Every (25× Реальность) 11:51 - Когда использовать защитные механизмы ИИ против детерминированного кода 13:02 - Предварительно разобранное извлечение кандидатов и ограничения инструментов 14:13 - Закон Амдала: Почему модель 40× дает только 4,5× скорости 14:47 - Реальный реестр затрат: Токенизированное ценообразование против затрат на проверку 16:13 - Математика риска 1 доллар против 100 долларов: Когда 95% точность не работает 17:08 - Как запустить безопасный теневой пилотный проект 18:21 - Окончательный вердикт: Ценность ограничений #aiengineering #typesafe #jev #machinelearning #softwarearchitecture #cloudcodes #latency #llm #backend #systemone #techteardown Запросы пользователей: обзор Typesafe JEV что такое модель Typesafe System One как JEV достигает 200-кратного ускорения вывода DIogo Almeida Typesafe AI обучение с подкреплением для калиброванных решений (RLCD) JEV против структурированных выходных данных GPT-4 может ли ИИ работать без генерации текста бенчмарк оценки Typesafe JEV самая быстрая модель классификации ИИ 2026 года ценообразование Typesafe JEV: 42 доллара за миллиард токенов как устранить задержку LLM в бэкенд-приложениях галлюцинирует ли Typesafe JEV Майк Тейлор: каждый тест ...