Одна и та же модель, в 3 раза больше токенов до начала задачи: Claude Code против Codex против Qw...

Та же модель, та же видеокарта, пять программаторов: Claude Code, Codex, Qwen Code, DeepSeek Harness и OpenCode, все они работают с Saluki 27B на одной RTX 5070 с 12 ГБ памяти. Два из них не смогли выполнить первую задачу сразу, а инструкции Claude Code примерно в 3 раза тяжелее инструкций DeepSeek Harness: 18 080 токенов против 5 605, отправляемых с каждым запросом перед вашей задачей (измерено на первом запросе каждого запуска). 8 небольших заданий, оцениваемых скрытым скриптом, в заблокированном контейнере. Если это помогло, поставьте лайк и подпишитесь на следующий тест. Напишите в комментариях, какую модель мне следует протестировать с помощью этих пяти инструментов в следующий раз или какой шестой инструмент добавить. РАЗДЕЛЫ 0:00 Вопрос и результат 0:57 Оборудование и первая задача 1:30 «Из коробки»: два инструмента не сработали 2:13 Первая задача из всех пяти 3:00 Восемь задач, таблица результатов 3:52 Как они не сработали: поиск в интернете 4:59 Размышления 5:46 Сколько стоит выполнение каждой задачи 6:29 Что бы я использовал и ограничения РЕЗУЛЬТАТЫ СЛОВАМИ (НАШИ: мои запуски на моем ПК, 12 и 13.10.2026, Saluki 27B на llama-server, размышления НЕТ, если не указано иное) Пройдено из тех же 14 запусков, те же ячейки для каждого инструмента: Claude Code с исправлением 11, Codex с исправлением 13, Qwen Code 14, DeepSeek Harness 12, OpenCode 11. От лучшего к худшему: 3 запуска из 14: слишком мало, чтобы ранжировать их. Claude Code и Codex в установленном виде не запускались (по 1 запуску каждый, ни один не прошёл успешно). Codex с исправлением также запускал каждое задание 3 раза: 10 дополнительных запусков, все 10 прошли успешно, всего 23 из 24. Первое задание, количество успешных запусков: Claude Code с исправлением 45.2, Codex с исправлением 22.4, Qwen Code 115.0, DeepSeek Harness 28.8, OpenCode 28.4. При поиске в интернете 7 из 9 запусков завершились неудачей: Claude Code с исправлением 1 из 3, Codex с исправлением 2 из 3, Qwen Code 3 из 3, DeepSeek Harness 1 из 3, OpenCode 1 из 3. Если оценивать по средней сложности три инструмента, по одному запуску на задание: все 24 запуска прошли успешно (вне рамок, первые запуски: Codex с исправлением 8 из 8, DeepSeek Harness 7 из 8, OpenCode 6 из 8). Меньше вызовов модели на задание, медианное время выполнения на 13–80 процентов больше. Ориентировочная стоимость 8 заданий по прейскуранту Claude Haiku 5.5, среднее значение за каждый запуск каждого задания, без кэширования (кэшировано): Codex с исправлением $0,068 ($0,018), OpenCode $0,085 ($0,022), DeepSeek Harness $0,109 ($0,023), Qwen Code $0,147 ($0,038), Claude Code с исправлением $0,151 ($0,047), примерно в 2,2 раза дешевле. Цены ИХ, токены мои, мысли в сторону, неудачные запуски включены, ничего не оплачивается. Токены Claude Code оцениваются на основе размеров запросов. Только первые запуски: от $0,054 до $0,271, потому что первый запуск добавления флага в Claude Code завершился неудачей в цикле из 50 вызовов. ИСПРАВЛЕНИЕ: Codex и Claude Code отправляют более одного системного сообщения; шаблон чата этой модели принимает только одно сообщение в самом начале, поэтому llama-server отвечает на каждый запрос HTTP 500. Рецепт: небольшой прокси-сервер объединяет все системные или сообщения разработчиков в одно системное сообщение в начале, соединяя его пустой строкой, и ничего больше не меняет. Строки, использующие его, помечаются как «с исправлением». ОДИН ПРОХОД, ДОСТИГНУВШИЙ ЛИМИТА: один из проходов Codex (задание 4, запуск 3) достиг моего лимита в 40 вызовов модели и занял 297,6 с, код завершения 1. Я засчитал это, потому что завершенная работа прошла все скрытые проверки. Не учтено: Codex имеет 12 из 14 совпадений в соответствующих запусках и 22 из 24 во всех своих запусках. КАК ВЫПОЛНЯЛИСЬ ЗАПУСКИ: оцениваемые запуски были без графического интерфейса, одна задача на запуск, в заблокированном контейнере. В ходе видеосъемки скрипт вводил одно и то же задание в интерфейс каждого инструмента со скоростью, характерной для человека, поэтому показания их часов отличаются от засчитанного времени. За клавиатурой никто не сидел. УРОВЕНЬ МЫШЛЕНИЯ: отключен для основных результатов, устанавливается на сервере модели; ни один инструмент не отправляет уровень (Claude Code и Codex запрашивают адаптивное мышление или сводки рассуждений). ОГРАНИЧЕНИЯ: одна модель, один ПК, 8 небольших заданий, написанных мной, от 1 до 3 запусков на ячейку. Задание 5 было разрешено размещать на общедоступных веб-страницах; для всех остальных заданий не было доступа в интернет. Более крупная модель могла бы все это изменить. Задание 5 было разрешено размещать на общедоступных веб-страницах; для всех остальных заданий не было доступа в интернет. Более крупная модель могла бы все это изменить. ИСТОЧНИК ЦЕНЫ (цена по прайс-листу, проверена 13.10.2026): https://platform.claude.com/docs/en/a... КАК ПОЛУЧИТЬ КАЖДЫЙ ИНСТРУМЕНТ (команды установки из документации каждого проекта, ИХ, открыта 14.10.2026; версии указаны ...