Я устроил Opus 5.5 и Astra настоящий ад. Результаты оказались предсказуемыми.
Matt Johnston | AI Engineer
0:00 / 0:00
Я устроил Opus 5.5 и Astra настоящий ад. Результаты оказались предсказуемыми.
180 просмотров · 8 часов назад
Matt Johnston | AI Engineer
3,96 тыс. подписчиков
180 просмотров · 8 часов назад
Подписывайтесь на @mattjohnston_ai в X, чтобы увидеть больше полных сравнений ИИ: https://x.com/mattjohnston_ai
Opus 5.5 и GPT-6 Astra только что прошли мой совершенно новый Proving Ground 2.0: более сложный бенчмарк с открытыми подсказками, построенный на основе реального визуального программирования. Никаких подсказок, никаких коротких готовых демонстраций.
В тест включены интерактивная 3D-модель Млечного Пути, анимированная SVG-история, многоязычный калькулятор чаевых, боевая система Expedition 33, кинематографическое объяснение работы процессора, битва с боссом — полярным медведем на Unreal Engine, 3D-ремастер SimCity и воссоздание веб-сайта с прокруткой. Я оцениваю обе модели в режиме реального времени, а затем сравниваю качество, корректность, стоимость и скорость.
РАЗДЕЛЫ
0:00 Испытательный полигон 2.0
1:32 Opus: Млечный Путь
5:25 Opus: Банановая драма и калькулятор чаевых
11:56 Opus: Экспедиция 33
16:23 Opus: Объяснение работы процессора и босс «Полярный медведь»
21:50 Opus: SimCity и переделка сайта
29:27 Astra: Млечный Путь, банан и калькулятор чаевых
35:41 Astra: Экспедиция 33 и объяснение работы процессора
41:02 Astra: Полярный медведь и SimCity
45:48 Astra: Переделка сайта и окончательный вердикт
Испытательный полигон Stonelabs: https://bench.stonelabs.app
Сайт: https://mattjohnston.io
X: https://x.com/mattjohnston_ai (@mattjohnston_ai)
Подпишитесь, чтобы получать больше полностью протестированных бенчмарков ИИ и моделей в реальном времени сравнений и реальных тестов программирования.