GPU 40GB 🚀 Cómo usar tu GPU INTEGRADA para IA con llama.cpp

En este video te enseñamos cómo configurar una GPU 40GB utilizando tu GPU integrada para ejecutar modelos de inteligencia artificial con llama.cpp. Aprenderás a aprovechar la memoria RAM de tu sistema para crear una unidad de procesamiento con gran capacidad de memoria, permitiéndote cargar modelos de lenguaje que no cabrían en una tarjeta gráfica dedicada convencional. Descubrirás cómo transformar la memoria compartida de tu procesador en una potente herramienta para IA, viendo la diferencia de rendimiento entre usar la CPU frente a la GPU integrada. Analizamos el uso de modelos de tipo Mixture of Experts (MoE) y modelos densos, evaluando la velocidad de generación de tokens y el procesamiento de prompts en entornos con limitaciones de VRAM. Veremos la implementación práctica de llama.cpp con soporte Vulkan, la configuración de parámetros para seleccionar dispositivos específicos y pruebas de rendimiento con modelos como Llama 3.0, Gemma y Qwen. Además, exploramos cómo el uso de la GPU integrada puede ser una alternativa económica, eficiente energéticamente y con menor generación de calor para ejecutar modelos de gran tamaño. 📝 Índice: 00:00:00 Cómo obtener una GPU 40GB con la integrada 00:03:14 Instalación de llama.cpp con soporte Vulkan 00:04:14 Configuración de dispositivos y parámetros 00:05:32 Pruebas de velocidad con modelos MoE 00:06:35 Pruebas con modelos densos Gemma y Qwen 00:08:17 Configuración de modelos borradores y Speculative Decoding 00:10:12 Conclusiones y próximos pasos con modelos de 100B Si este video te ayuda, suscríbete para ver más tutoriales sobre inteligencia artificial, automatización y creación de contenido. #InteligenciaArtificial #LlamaCpp #GPU #IA #ModelosDeLenguaje ✅ Canal WhatsApp: https://www.whatsapp.com/channel/0029... Contacto: nichonauta@gmail.com Sitio web: nichonauta.com