Создайте собственную систему RAG с использованием реальных наборов данных (SciQ) и GPT-2 | Пошаго...

В этом видео мы создадим систему поиска и генерации дополненной информации (RAG) с нуля, используя набор данных реального мира (SciQ), преобразователь предложений и небольшой локальный LLM-курс (DistilGPT2). Это практическое руководство поможет вам понять, как современные системы, такие как ChatGPT с поиском, сочетают поиск и генерацию для получения основанных на фактах и ​​контекстных ответов — всё это работает локально на вашем процессоре. ⏱️ Главы 00:00 — Введение 00:31 — Импорт библиотек 01:50 — Загрузка набора данных SciQ 04:19 — Генерация вложений текста с помощью преобразователей предложений 05:48 — Создание векторного индекса FAISS для семантического поиска 07:08 — Загрузка модели GPT-2 08:23 — Создание простой функции RAG 12:12 — Создание пользовательского интерфейса Gradio 13:30 — Эксперименты с RAG и GPT-2 20:43 — Заключение и заключение Код: https://github.com/nikhilroxtomar/RAG... 💡 Вы узнаете, как: Загружать реальный набор данных с помощью набора данных Hugging Face Генерировать семантические вложения с помощью преобразователей предложений Создавать векторный индекс FAISS для эффективного поиска текста Объедините поиск и генерацию для создания конвейера RAG Разверните собственное веб-приложение Gradio для локального взаимодействия 💻 Полностью загружает процессор — идеально для новичков! 🔍 RAG = Поиск и генерация — та же концепция, что и для поиска знаний в ChatGPT. 💖 Поддержите мою работу: ☕ Угостите меня кофе: https://www.buymeacoffee.com/nikhilro... 💬 Подпишитесь на канал:    / @idiotdeveloper   🌐 Оставайтесь на связи: 📘 Блог: https://idiotdeveloper.com 📢 Telegram: https://t.me/idiotdeveloper 📘 Facebook:   / idiotdeveloper   🐦 Twitter:   / nikhilroxtomar   📸 Instagram:   / nikhilroxtomar   🎁 Patreon:   / idiotdeveloper