Как проверить RAG-систему: источники, скорость и доказательства

Ваш источник указывает семь дней. RAG по-прежнему возвращает тридцать. Проследите за одной небольшой системой, чтобы найти неверный документ, устаревшую копию, повторную работу или неподтвержденный ответ. Это полное пошаговое руководство связывает три вопроса: нашел ли поиск правильный источник и версию, на что было потрачено время запроса и подтверждают ли доказательства ответ? Мы используем пять вымышленных политических документов и воспроизводимые локальные эксперименты. Примеры поиска напрямую копируют возвращенный фрагмент; в примерах оценки используются специально написанные ответы. Не проводилось тестирование производительности языковых моделей или развертываний поставщиков. Результаты по времени описывают одну локальную ситуацию, а не ожидаемую производительность в производственной среде или точность модели. ЧТО ВЫ УЗНАЕТЕ: Трассировка источника, подготовленного индекса, возвращенного контекста и отображаемого ответа. Разделение обязанностей по обновлению от работы, сэкономленной за счет повторного использования индекса. Чтение трассировки запроса, поддержание справедливого сравнения и различение медианы от хвоста. Отдельная проверка релевантности документа, актуальности источника, правильности ответа, подтверждения доказательств и идентичности цитирования. Распознавание недостающих доказательств и ограничений рукописной оценки. ГЛАВЫ 0:00 Почему текущая политика возвращает старый ответ 0:40 Что содержит подготовленная копия 1:42 Сначала найдите нужный документ 2:24 Отслеживание версии документа 3:25 Обновите копию и задайте вопрос снова 4:23 Что повторно используется во втором запросе 5:22 Чтение измеренной трассировки запроса 6:26 Обеспечение объективности сравнения 7:30 Медиана, задержка в хвосте и выбросы 8:31 Измерение всего времени ожидания клиента 9:29 Правильные ответы и подтверждающие доказательства 10:36 Что доказывает и что не доказывает цитата 11:38 Когда документы не содержат факта 12:32 Проверка самого оценщика 13:39 Ведение одной полезной диагностической записи ДАЛЬНЕЙШЕЕ ЧТЕНИЕ Здесь объясняются более общие концепции; экспериментальные измерения в видео получены на локальном учебном стенде. Google: оценка систем RAG https://codelabs.developers.google.co... Databricks: создание и обновление индекса поиска ИИ https://docs.databricks.com/aws/en/ai... NVIDIA RAG: тестирование производительности https://docs.nvidia.com/rag/latest/pe... AI TechBook: обоснованные объяснения принципов работы систем ИИ. #RAG #RetrievalAugmentedGeneration #AISystems