Перейти к содержимому

Теперь все мои локальные ИИ используют ОДНУ память | (LLM Wiki + OKF)

Codacus

0:00 / 0:00

Теперь все мои локальные ИИ используют ОДНУ память | (LLM Wiki + OKF)

28 202 просмотра · 1 месяц назад
Codacus
34,5 тыс. подписчиков
28 202 просмотра · 1 месяц назад
Я выделил каждому локальному ИИ одну общую постоянную память — обучив одного агента чему-то, я убедил всех остальных, что это уже известно. Никакой векторной базы данных, никакого облачного API, никакого повторного встраивания. Просто папка с файлами Markdown, агент-«библиотекарь» и MCP. Это основано на идее LLM-вики Андрея Карпати и спецификации Google OKF (Open Knowledge Format), и весь цикл работает на моей собственной машине: среда разработки, память И модель (тот же сервер llama.cpp, который используется для всего остального). В этом видео я создаю understory, готовый слой памяти для ЛЮБОЙ локальной конфигурации ИИ. Любой LLM, веб-интерфейс llama.cpp, кодирующие агенты, всё, что работает с MCP, и я покажу вам, что именно сломалось на этом пути: проблема холодного старта (ИИ никогда не догадался проверить свою собственную память), проблема «ящика для мусора» (каждый факт превратился в файл-сироту) и как детерминированная среда разработки позволяет всему этому работать на небольшой локальной модели. Детерминированные правила, LLM только для принятия решений. 🌱 Understory (бесплатный и с открытым исходным кодом): https://github.com/thecodacus/understory Краткий обзор LLM-версии Karpathy: https://gist.github.com/karpathy/442a... Спецификация OKF от Google: https://github.com/GoogleCloudPlatfor... ⏱️ РАЗДЕЛЫ 0:00 Ваш локальный ИИ страдает амнезией 1:25 Почему RAG НЕ является решением (память ≠ векторная база данных) 3:04 Наивное решение: файл навыков (и как он сломался) 3:50 В каждой библиотеке есть библиотекарь — архитектура 5:26 Знакомьтесь, Understory: наблюдайте за ростом памяти 5:59 Подключите его к чему угодно: 3 MCP инструменты 6:53 Действительно локально, работает на том же llama.cpp 7:44 Задача 1: забыл запомнить (холодный старт) 9:19 Задача 2: ящик для мусора (связывание воспоминаний) 11:01 Исправление последних пробелов (линтинг, поддержка, противоречия) 12:34 Одна память, каждый агент 12:58 Мои мысли + дорожная карта СТЕК • Память: обычные файлы Markdown (спецификация OKF от Google) — нет базы данных, каждая «память» — это файл, который можно читать, редактировать и сравнивать с помощью git • Агент: TypeScript + инструментарий Vercel AI SDK v5 (поиск / чтение / запись / исправление / связывание) • Протокол: MCP-сервер (потоковый HTTP + stdio) — работает с Claude, веб-интерфейсом llama.cpp, любым MCP-клиентом • Вывод: llama.cpp llama-сервер на моем домашнем графическом процессоре (также поддерживает Anthropic) (/ OpenRouter) • Пользовательский интерфейс: React + Vite + Tailwind, d3-force для графа памяти + воспроизведение пути запроса • Сервер: Node + Express, один контейнер Docker (образ на GHCR) Каждый байт памяти вашего ИИ остается на вашем диске, читаемый в любом текстовом редакторе, с возможностью сравнения в Git. Мы вернули себе модель, оборудование и конфиденциальность — память — это следующее, что нужно вернуть. 🔔 Подпишитесь, если вы создаете локальный стек ИИ, который действительно принадлежит вам: https://youtube.com/@Codacus?sub_conf... Что ваш ИИ должен запомнить в первую очередь? Расскажите мне в комментариях. #localai #llamacpp #edgeai #aimemory #llm #obsidian #okf