Claude Opus 5.5 против GPT-6 Astra — бенчмарк Visual Forge
AIex The AI Workbench
0:00 / 0:00
Claude Opus 5.5 против GPT-6 Astra — бенчмарк Visual Forge
497 просмотров · 2 нед. назад
AIex The AI Workbench
1,35 тыс. подписчиков
497 просмотров · 2 нед. назад
В моём бенчмарке VisualForge Claude Opus 5.5 и GPT-6 Astra получили одинаковые задания: аэродинамическая труба, игра с реактивным ранцем, боевая игра, полёт на ракете в стиле Starship, веб-сайт магазина фототехники, реактивный двигатель, игра с вертолётом и приложение для исправления ошибок. Каждая страница оценивалась в реальном браузере, и все результаты являются общедоступными, так что вы можете открыть страницы и оценить их сами.
Сравните два запуска: https://visualforgebench.com/compare/...
Все результаты: https://visualforgebench.com
Средний балл: Claude Opus 5.5 (7.3 из 10) по восьми тестам, GPT-6 Astra 7.1 по девяти (включая тест с подстановочным знаком, разработанный самой программой).
Важно знать перед сравнением:
Оценку выставляет Claude Opus 5.5, поэтому Opus проверяет свою собственную работу. Оригинальная страница Alex Optics от Opus была оценена Claude Sonnet 5.5.
Alex Optics: оценка 5.6 получена из оригинального кода Opus. Исправленная страница (7.8) показана только для сравнения.
Astra работала с более новыми версиями программного обеспечения, которые запрашивают звук. Opus работала со старыми версиями без звука.
В тесте по исправлению ошибок использовались разные приложения: Opus исправила ошибки в Hangar Ops (370 строк), Astra — в более крупном Hangar Planner (около 900 строк).
Обе модели работали с высокой нагрузкой на мои подписки. Указаны затраты, которые потребовались бы для выполнения той же работы по ценам API; данные для Astra являются приблизительной оценкой.
Я записал свои комментарии во время анализа результатов. Закадровый текст — это сокращенная версия того, что я сказал, озвученная моим собственным голосовым клоном HeyGen.
0:00 Вступление
0:51 Цифры
1:50 Как работает система подсчета очков
2:37 Аэролаборатория
4:17 Реактивная одиссея
5:33 Остров Взрыва
6:32 День запуска
9:13 Оптика Алекса
10:57 Форсаж
12:05 Исправление ошибок
12:39 Яростный полет ротора
13:22 Неожиданный поворот: Раскрой пустыню
13:43 Заключение
Какую модель мне следует протестировать следующей? Напишите в комментариях.