Почему контекстное окно в 1 млн токенов не убьёт RAG

Может ли использование больших контекстных окон LLM заменить архитектуры RAG в реальных системах? Узнайте, почему команды разработчиков ИИ полагаются на разбиение документов на блоки, 768-мерный векторный поиск и поиск контекста по топ-k, чтобы снизить задержку и исключить ложные срабатывания. Подписывайтесь, чтобы получать больше разборов системного проектирования и ментальных моделей ИИ-инженеров! Какой размер блоков вы используете по умолчанию в своих конвейерах? Расскажите нам в комментариях ниже! Системное проектирование #RAG #АрхитектураИИ #МашинноеОбучение