Что такое harness-инжиниринг?

Одна и та же передовая модель показала результат 13,3% в бенчмарке головоломок с одной настройкой и 38,3% с другой. Сама модель не изменилась. Изменился код, окружающий её. Этот код — это «оборудование», и его разработка является частью создания агентов искусственного интеллекта. В этом видео простыми словами объясняется разработка «оборудования», на примере семи его частей и сотрудника службы поддержки, обрабатывающего запрос на возврат средств. Что вы узнаете: Что такое «настройка» для ИИ-агента, с иллюстрацией всадника и лошади Пример OpenAI: две настройки настройки, которые повысили эффективность одной и той же модели с 13,3% до 38,3% на общедоступном наборе данных ARC-AGI-3 Семичастный способ запоминания настройки, записываемый как HARNESS: Heartbeat (цикл), Actions (инструменты), Reads (контекст), Notes (память), Enforce (разрешения, песочница, ограничения), Sanity check (проверка), Sight (наблюдаемость) Как каждая часть изменяет работу небольшого агента поддержки, от ограничения шагов до трассировки вокруг каждого шага Один запрос на возврат средств, отслеженный до готового файла, включая повторную попытку, когда в ответе утверждается, что возврат средств не подтвержден инструментом Когда использовать SDK Claude Agent или SDK OpenAI Agents, и когда писать цикл самостоятельно Как улучшить настройку: читайте реальные запуски, меняйте одну вещь, снова измеряйте и перетестируйте всякий раз, когда изменяется модель Подробный анализ нескольких из этих аспектов части Цикл:    • Agent Loops Explained in Code in Under 11 ...   Проектирование инструментов (Часть 1):    • How to Design Tools for AI Agents (Part 1)?   Масштабирование до сотен инструментов (Часть 2):    • How to Scale AI Agents to Hundreds of Tool...   Контекстная инженерия:    • Context Engineering for AI Agents: Compact...   Память:    • Agent Memory Explained   Ограничители:    • Don't Trust the Prompt: Guardrail Your Age...   Наблюдаемость:    • AI Agent Observability: Read the Trace wit...   Источники OpenAI, "Как включение двух настроек утроило наши результаты в бенчмарке ARC-AGI-3" (29 июля 2026 г.): https://openai.com/index/how-two-sett... OpenAI, "Разработка алгоритмов: использование Codex в мире, ориентированном на агентов" (11 февраля 2026 г.): https://openai.com/index/harness-engi... OpenAI, "Развертывание цикла агента Codex" (23 января 2026 г.): https://openai.com/index/unrolling-th... OpenAI, "Переосмысление навыков и подсказок" (11 сентября 2026 г.): https://developers.openai.com/blog/re... Anthropic, "Создание эффективных агентов" (19 декабря 2024 г.): https://www.anthropic.com/research/bu... Anthropic, «Эффективное проектирование контекста для агентов ИИ» (29 сентября 2025 г.): https://www.anthropic.com/research/ef... Anthropic, «Масштабирование управляемых агентов» (8 апреля 2026 г.): https://www.anthropic.com/research/ma... SDK Claude Agent: https://code.claude.com/docs/en/agent... SDK OpenAI Agents: https://github.com/openai/openai-agen... Аналогия с всадником и лошадью — моя собственная, а не утверждение из какого-либо из этих источников. Агент поддержки — небольшой учебный пример с вымышленными данными. Оценки соответствуют данным OpenAI, опубликованным в указанные выше даты. В озвучке используется клонированный голос ИИ, имитирующий мой собственный голос. В заключение я предлагаю вам послушать мою собственную запись. Часть плейлиста Agent Harness Engineering, посвященного навыкам развертывания агентов, которые использует инженер Forward Deployed Engineer (FDE) при развертывании агентов для клиентов:    • Agent Harness Engineering for Forward Depl...   #AIAgents #HarnessEngineering #AgentHarness #ClaudeAgentSDK #OpenAIAgentsSDK 0:00 Та же модель, в три раза лучший результат 0:57 Пример OpenAI: две настройки 1:31 Семь частей системы развертывания: HARNESS 2:55 H: цикл и ограничение шага 3:24 A: действия и читаемые ошибки инструмента 4:02 R: контекст и компактизация 4:36 N: заметки и память 5:05 E: разрешения, песочница, ограничения 5:42 S: проверка и подтверждение работоспособности 6:14 S: визуальное наблюдение и трассировка 6:37 Один запрос на возврат средств, от начала до конца 7:39 Claude Agent SDK, SDK агентов OpenAI или собственный цикл 8:21 Как улучшить тестовую среду 8:49 Повторное тестирование при изменении модели 9:13 Итоги и ваша очередь