Перейти к содержимому

Claude Opus 5.5 против GPT-6 Astra — бенчмарк Visual Forge

AIex The AI Workbench

0:00 / 0:00

Claude Opus 5.5 против GPT-6 Astra — бенчмарк Visual Forge

497 просмотров · 2 нед. назад
AIex The AI Workbench
1,35 тыс. подписчиков
497 просмотров · 2 нед. назад
В моём бенчмарке VisualForge Claude Opus 5.5 и GPT-6 Astra получили одинаковые задания: аэродинамическая труба, игра с реактивным ранцем, боевая игра, полёт на ракете в стиле Starship, веб-сайт магазина фототехники, реактивный двигатель, игра с вертолётом и приложение для исправления ошибок. Каждая страница оценивалась в реальном браузере, и все результаты являются общедоступными, так что вы можете открыть страницы и оценить их сами. Сравните два запуска: https://visualforgebench.com/compare/... Все результаты: https://visualforgebench.com Средний балл: Claude Opus 5.5 (7.3 из 10) по восьми тестам, GPT-6 Astra 7.1 по девяти (включая тест с подстановочным знаком, разработанный самой программой). Важно знать перед сравнением: Оценку выставляет Claude Opus 5.5, поэтому Opus проверяет свою собственную работу. Оригинальная страница Alex Optics от Opus была оценена Claude Sonnet 5.5. Alex Optics: оценка 5.6 получена из оригинального кода Opus. Исправленная страница (7.8) показана только для сравнения. Astra работала с более новыми версиями программного обеспечения, которые запрашивают звук. Opus работала со старыми версиями без звука. В тесте по исправлению ошибок использовались разные приложения: Opus исправила ошибки в Hangar Ops (370 строк), Astra — в более крупном Hangar Planner (около 900 строк). Обе модели работали с высокой нагрузкой на мои подписки. Указаны затраты, которые потребовались бы для выполнения той же работы по ценам API; данные для Astra являются приблизительной оценкой. Я записал свои комментарии во время анализа результатов. Закадровый текст — это сокращенная версия того, что я сказал, озвученная моим собственным голосовым клоном HeyGen. 0:00 Вступление 0:51 Цифры 1:50 Как работает система подсчета очков 2:37 Аэролаборатория 4:17 Реактивная одиссея 5:33 Остров Взрыва 6:32 День запуска 9:13 Оптика Алекса 10:57 Форсаж 12:05 Исправление ошибок 12:39 Яростный полет ротора 13:22 Неожиданный поворот: Раскрой пустыню 13:43 Заключение Какую модель мне следует протестировать следующей? Напишите в комментариях.