Марк Кузнецов, Алексей Фатеев — От RAG для операторов до RAG-платформы для крупного банка

Подробнее о конференции DevOops: https://jrg.su/t1mP5U — — Скачать презентацию с сайта — https://jrg.su/s5XxPc Что такое RAG и чем отличается от дообучения архитектура нашего решения, гипотезы. Какие LLM модели используем, что сравнивали. Какие показатели сейчас (пользователи, RPS, время ответа, какое железо). Как мы измеряем качество ответов. Где что-то не получилось. Масштабирование на 6 тысяч операторов. Планы, связанные с платформой и self-сервисом.