Перейти к содержимому

Claude и GPT «режут» после релиза? У нас есть доказательства

Devsplainers

0:00 / 0:00

Claude и GPT «режут» после релиза? У нас есть доказательства

28 887 просмотров · 16 ч назад
Devsplainers
20,4 тыс. подписчиков
28 887 просмотров · 16 ч назад
Через неделю после запуска Opus 5.5 на Reddit появилась ветка с 2691 голосом, в которой говорилось, что Anthropic ослабила модель. На этот раз ежедневный бенчмарк вел подсчет результатов. В этом видео показано, что увидели специалисты по отслеживанию ослаблений и как создать свой собственный. И Anthropic, и OpenAI утверждают, что веса, связанные с закрепленным ID модели, никогда не меняются. Маршрутизатор, классификаторы безопасности, подсказки и обвязка вокруг модели постоянно меняются. Вы увидите, как работает LiveNerf, что LiveNerf, Nerf Bench от BridgeBench и Marginlab обнаружили на данный момент, почему удача и эффект медового месяца заставляют новую модель казаться хуже на второй неделе, и какие изменения в коде Клода выглядят точно так же, как ослабленная модель. Разделы 00:00 Тема обсуждения ослабления Opus 5.5 00:28 Цикл ослабления: Claude, GPT-6 Astra, каждый запуск 01:08 Что говорят Anthropic и OpenAI 02:24 Как работает трекер ослабления (LiveNerf) 03:54 Что показали трекеры: LiveNerf, Nerf Bench, Marginlab 05:24 Удача и эффект медового месяца 06:19 Или это ваша настройка кода Claude 07:09 Создайте свой собственный трекер ослабления 07:51 Вердикт: ослаблена ли ваша модель? Получайте самые свежие мнения на свою электронную почту каждый вторник: https://devsplainers.com/takeouts/ Смотрите далее: Почему Claude, GPT и Gemini становятся хуже (доказательства):    • Why Claude, GPT & Gemini Are Getting Worse...   Opus 5.5 заставил всех вернуться к Claude:    • Opus 5.5 Made Everyone Crawl Back to Claude   Лимиты Claude стали жестокими. Вот куда стоит вложить свои 200 долларов:    • Claude Limits Got Brutal. Here's Where to ...   OpenCode против Claude Code и Codex: Война за ресурсы:    • OpenCode vs Claude Code and Codex: The Har...   Нерфят ли компании, занимающиеся ИИ, модели после запуска? Нерф означает, что лаборатория ухудшает модель после выпуска, например, предоставляя ее с более низкой точностью (квантованием) для экономии вычислительных ресурсов. Обе лаборатории утверждают, что закрепленный ID модели сохраняет те же веса. Зафиксированные трекерами ошибки были связаны с программным обеспечением, используемым в модели. В мае 2026 года Marginlab зафиксировал падение показателя успешности Claude Code с Opus 4.7 с 65% до уровня чуть выше 50% в течение пяти дней, начиная и заканчивая релизами Claude Code. Полезный бенчмарк LLM для оценки точности обнаружения нерфов по точному совпадению фиксирует версию прошивки, запускает контрольную модель и записывает правило принятия решения перед первым запуском. Первый возможный вердикт LiveNerf по Opus 5.5 появится примерно 24 октября. В этом видео: Тема с 2691 голосом, в которой говорится о нерфе Opus 5.5 Что обещают Anthropic и OpenAI в отношении весов и квантизации Как LiveNerf выбирает 78 вопросов и оценивает их без участия эксперта LLM Nerf Bench, Marginlab и падение Opus 4.7, связанное с обновлением кода Клода Математика полос поражений и эффект медового месяца Настройки кода Клода, которые выглядят как нерф, и падение на 39% за несколько ходов Как создать собственную оценку LLM Источники: Reddit, тема о нерфе Opus 5.5:   / 1wtlrnu   Reddit, как измерить, обнаружить, подать в суд:   / 1wuw9bc   Расшифровка, GPT-6 Astra: https://tech.yahoo.com/ai/chatgpt/art... Антропные идентификаторы моделей: https://platform.claude.com/docs/en/a... Тед Сандерс, HN: https://news.ycombinator.com/item?id=... Тед Сандерс, HN: https://news.ycombinator.com/item?id=... Тед Сандерс, HN: https://news.ycombinator.com/item?id=... Список изменений кода Claude: https://github.com/anthropics/claude-... Список изменений Codex: https://learn.chatgpt.com/docs/changelog Переключение моделей Claude: https://support.claude.com/en/article... LiveNerf: https://github.com/ninjahawk/livenerf Nerf Bench: https://www.bridgebench.ai/nerf-bench Marginlab: https://marginlab.ai/blog/claude-code... VentureBeat: https://venturebeat.com/technology/is... IsItNerfed: https://isitnerfed.org/blog/002-anthr... Математика медового месяца:   / pc6ini5   HN, ничего не изменилось: https://news.ycombinator.com/item?id=... Проблема с кодом Клода 96298: https://github.com/anthropics/claude-... Потеряно в многоходовом режиме: https://arxiv.org/abs/2505.06120 #claude #claudecode #llm