Перейти к содержимому

Claude Haiku 5.5 против GPT-6 Luna

AIex The AI Workbench

0:00 / 0:00

Claude Haiku 5.5 против GPT-6 Luna

509 просмотров · 11 дней назад
AIex The AI Workbench
1,35 тыс. подписчиков
509 просмотров · 11 дней назад
Claude Haiku 5.5 и GPT-6 Luna взимают одинаковую плату за токен, поэтому я дал им одинаковые восемь сборок в своем бенчмарке VisualForge: аэродинамическую трубу, игру с реактивным ранцем, боевую игру в стиле Worms, ракетный полет в стиле Starship, веб-сайт магазина фототехники, реактивный двигатель, приложение для исправления ошибок и вертолетный шутер. Haiku также разработал собственный тест с подстановочными знаками. Каждая страница оценивается в браузере, и каждый результат является общедоступным, поэтому вы можете открыть страницы и оценить их самостоятельно. Сравните два запуска: https://visualforgebench.com/compare/... Все результаты: https://visualforgebench.com Средний балл по восьми основным тестам: GPT-6 Luna 6.2, Claude Haiku 5.5 6.1. На мой взгляд, ничья. «Вишенка» Хайку, Cold Shock Parison, набрала 7.15 баллов и не попала в средний балл. Разница заключается в количестве токенов. Хайку записывает около 222 токенов в секунду, что в пять раз быстрее, чем 44 у Luna, и записывает не менее 2,58 миллиона токенов против 577 тысяч у Luna. По ценам API это как минимум 3,79 доллара для Haiku и 0,85 доллара для Luna. Время было близким: как минимум 4 часа 14 минут для Haiku, 3 часа 38 минут для Luna. Цены: обе системы указывают 0,10 доллара за миллион входных токенов и 0,50 доллара за миллион выходных (OpenRouter, 8 октября 2026 г.). Anthropic взимает 0,50 и 2,50 доллара за запросы Haiku свыше 100 000 токенов. Стоит знать перед сравнением: Судья — Claude Opus 5.5, так что большая модель Anthropic проверяет работу своего младшего брата. Luna работала с максимальными усилиями, Haiku — с высокими. Следующий запуск Haiku с максимальными усилиями будет опубликован на сайте. Время, токены и стоимость Haiku указаны в нижнем пределе: шесть попыток достигли лимита в 128 000 токенов и не заработали ни одного токена. Некоторые попытки Haiku провалились или были прерваны, поэтому я повторно запустил эти тесты, и учитывается лучшая попытка. Luna выполнила по одной попытке в каждом тесте. Luna работала со старыми версиями, которые не требуют звука. В тесте на исправление ошибок использовались другие приложения: Luna исправила Hangar Ops, Haiku — более крупный Hangar Planner. Исправленные страницы показаны только для просмотра. Результаты получены из исходного кода. В обоих запусках использовались мои подписки. Стоимость соответствует стоимости аналогичной работы по ценам API. Я записал свои комментарии во время анализа результатов. Озвучка представляет собой сокращенный текст моих слов, прочитанный моим собственным голосовым клоном HeyGen. Фоновая музыка создана с помощью Google Gemini. 0:00 Вступление 0:42 Что выпустила Anthropic 1:58 Тест производительности 3:03 Время, токены и стоимость 4:13 Анализ и сравнение 5:23 Aero Lab 6:25 Jet Odyssey 7:36 Blast Island 8:12 День запуска 10:15 Alex Optics 11:01 Afterburner 11:39 Исправление ошибок 12:23 Rotor Rampage 13:13 Wildcard: Cold Shock Parison 13:40 Вердикт 14:13 Заключение Какую модель мне протестировать следующей? Напишите в комментариях.