Claude Haiku 5.5 против GPT-6 Luna
AIex The AI Workbench
0:00 / 0:00
Claude Haiku 5.5 против GPT-6 Luna
509 просмотров · 11 дней назад
AIex The AI Workbench
1,35 тыс. подписчиков
509 просмотров · 11 дней назад
Claude Haiku 5.5 и GPT-6 Luna взимают одинаковую плату за токен, поэтому я дал им одинаковые восемь сборок в своем бенчмарке VisualForge: аэродинамическую трубу, игру с реактивным ранцем, боевую игру в стиле Worms, ракетный полет в стиле Starship, веб-сайт магазина фототехники, реактивный двигатель, приложение для исправления ошибок и вертолетный шутер. Haiku также разработал собственный тест с подстановочными знаками. Каждая страница оценивается в браузере, и каждый результат является общедоступным, поэтому вы можете открыть страницы и оценить их самостоятельно.
Сравните два запуска: https://visualforgebench.com/compare/...
Все результаты: https://visualforgebench.com
Средний балл по восьми основным тестам: GPT-6 Luna 6.2, Claude Haiku 5.5 6.1. На мой взгляд, ничья. «Вишенка» Хайку, Cold Shock Parison, набрала 7.15 баллов и не попала в средний балл.
Разница заключается в количестве токенов. Хайку записывает около 222 токенов в секунду, что в пять раз быстрее, чем 44 у Luna, и записывает не менее 2,58 миллиона токенов против 577 тысяч у Luna. По ценам API это как минимум 3,79 доллара для Haiku и 0,85 доллара для Luna. Время было близким: как минимум 4 часа 14 минут для Haiku, 3 часа 38 минут для Luna.
Цены: обе системы указывают 0,10 доллара за миллион входных токенов и 0,50 доллара за миллион выходных (OpenRouter, 8 октября 2026 г.). Anthropic взимает 0,50 и 2,50 доллара за запросы Haiku свыше 100 000 токенов.
Стоит знать перед сравнением:
Судья — Claude Opus 5.5, так что большая модель Anthropic проверяет работу своего младшего брата.
Luna работала с максимальными усилиями, Haiku — с высокими. Следующий запуск Haiku с максимальными усилиями будет опубликован на сайте.
Время, токены и стоимость Haiku указаны в нижнем пределе: шесть попыток достигли лимита в 128 000 токенов и не заработали ни одного токена.
Некоторые попытки Haiku провалились или были прерваны, поэтому я повторно запустил эти тесты, и учитывается лучшая попытка. Luna выполнила по одной попытке в каждом тесте.
Luna работала со старыми версиями, которые не требуют звука.
В тесте на исправление ошибок использовались другие приложения: Luna исправила Hangar Ops, Haiku — более крупный Hangar Planner.
Исправленные страницы показаны только для просмотра. Результаты получены из исходного кода.
В обоих запусках использовались мои подписки. Стоимость соответствует стоимости аналогичной работы по ценам API.
Я записал свои комментарии во время анализа результатов. Озвучка представляет собой сокращенный текст моих слов, прочитанный моим собственным голосовым клоном HeyGen. Фоновая музыка создана с помощью Google Gemini.
0:00 Вступление
0:42 Что выпустила Anthropic
1:58 Тест производительности
3:03 Время, токены и стоимость
4:13 Анализ и сравнение
5:23 Aero Lab
6:25 Jet Odyssey
7:36 Blast Island
8:12 День запуска
10:15 Alex Optics
11:01 Afterburner
11:39 Исправление ошибок
12:23 Rotor Rampage
13:13 Wildcard: Cold Shock Parison
13:40 Вердикт
14:13 Заключение
Какую модель мне протестировать следующей? Напишите в комментариях.