Claude и GPT «режут» после релиза? У нас есть доказательства
Devsplainers
0:00 / 0:00
Claude и GPT «режут» после релиза? У нас есть доказательства
28 887 просмотров · 16 ч назад
Devsplainers
20,4 тыс. подписчиков
28 887 просмотров · 16 ч назад
Через неделю после запуска Opus 5.5 на Reddit появилась ветка с 2691 голосом, в которой говорилось, что Anthropic ослабила модель. На этот раз ежедневный бенчмарк вел подсчет результатов. В этом видео показано, что увидели специалисты по отслеживанию ослаблений и как создать свой собственный.
И Anthropic, и OpenAI утверждают, что веса, связанные с закрепленным ID модели, никогда не меняются. Маршрутизатор, классификаторы безопасности, подсказки и обвязка вокруг модели постоянно меняются. Вы увидите, как работает LiveNerf, что LiveNerf, Nerf Bench от BridgeBench и Marginlab обнаружили на данный момент, почему удача и эффект медового месяца заставляют новую модель казаться хуже на второй неделе, и какие изменения в коде Клода выглядят точно так же, как ослабленная модель.
Разделы
00:00 Тема обсуждения ослабления Opus 5.5
00:28 Цикл ослабления: Claude, GPT-6 Astra, каждый запуск
01:08 Что говорят Anthropic и OpenAI
02:24 Как работает трекер ослабления (LiveNerf)
03:54 Что показали трекеры: LiveNerf, Nerf Bench, Marginlab
05:24 Удача и эффект медового месяца
06:19 Или это ваша настройка кода Claude
07:09 Создайте свой собственный трекер ослабления
07:51 Вердикт: ослаблена ли ваша модель?
Получайте самые свежие мнения на свою электронную почту каждый вторник: https://devsplainers.com/takeouts/
Смотрите далее:
Почему Claude, GPT и Gemini становятся хуже (доказательства): • Why Claude, GPT & Gemini Are Getting Worse...
Opus 5.5 заставил всех вернуться к Claude: • Opus 5.5 Made Everyone Crawl Back to Claude
Лимиты Claude стали жестокими. Вот куда стоит вложить свои 200 долларов: • Claude Limits Got Brutal. Here's Where to ...
OpenCode против Claude Code и Codex: Война за ресурсы: • OpenCode vs Claude Code and Codex: The Har...
Нерфят ли компании, занимающиеся ИИ, модели после запуска?
Нерф означает, что лаборатория ухудшает модель после выпуска, например, предоставляя ее с более низкой точностью (квантованием) для экономии вычислительных ресурсов. Обе лаборатории утверждают, что закрепленный ID модели сохраняет те же веса. Зафиксированные трекерами ошибки были связаны с программным обеспечением, используемым в модели. В мае 2026 года Marginlab зафиксировал падение показателя успешности Claude Code с Opus 4.7 с 65% до уровня чуть выше 50% в течение пяти дней, начиная и заканчивая релизами Claude Code. Полезный бенчмарк LLM для оценки точности обнаружения нерфов по точному совпадению фиксирует версию прошивки, запускает контрольную модель и записывает правило принятия решения перед первым запуском. Первый возможный вердикт LiveNerf по Opus 5.5 появится примерно 24 октября.
В этом видео:
Тема с 2691 голосом, в которой говорится о нерфе Opus 5.5
Что обещают Anthropic и OpenAI в отношении весов и квантизации
Как LiveNerf выбирает 78 вопросов и оценивает их без участия эксперта LLM
Nerf Bench, Marginlab и падение Opus 4.7, связанное с обновлением кода Клода
Математика полос поражений и эффект медового месяца
Настройки кода Клода, которые выглядят как нерф, и падение на 39% за несколько ходов
Как создать собственную оценку LLM
Источники:
Reddit, тема о нерфе Opus 5.5: / 1wtlrnu
Reddit, как измерить, обнаружить, подать в суд: / 1wuw9bc
Расшифровка, GPT-6 Astra: https://tech.yahoo.com/ai/chatgpt/art...
Антропные идентификаторы моделей: https://platform.claude.com/docs/en/a...
Тед Сандерс, HN: https://news.ycombinator.com/item?id=...
Тед Сандерс, HN: https://news.ycombinator.com/item?id=...
Тед Сандерс, HN: https://news.ycombinator.com/item?id=...
Список изменений кода Claude: https://github.com/anthropics/claude-...
Список изменений Codex: https://learn.chatgpt.com/docs/changelog
Переключение моделей Claude: https://support.claude.com/en/article...
LiveNerf: https://github.com/ninjahawk/livenerf
Nerf Bench: https://www.bridgebench.ai/nerf-bench
Marginlab: https://marginlab.ai/blog/claude-code...
VentureBeat: https://venturebeat.com/technology/is...
IsItNerfed: https://isitnerfed.org/blog/002-anthr...
Математика медового месяца: / pc6ini5
HN, ничего не изменилось: https://news.ycombinator.com/item?id=...
Проблема с кодом Клода 96298: https://github.com/anthropics/claude-...
Потеряно в многоходовом режиме: https://arxiv.org/abs/2505.06120
#claude #claudecode #llm