Optimizar procesos con IA: contexto, tokens, caché y coste real

Trabajar con IA en procesos complejos no consiste simplemente en elegir el modelo más potente y dejarle hacer. La forma de dividir el trabajo, gestionar el contexto, aprovechar la caché, estructurar las respuestas y decidir qué debe hacer el modelo y qué debe resolver la aplicación puede cambiar mucho tanto el coste como la calidad de los resultados. En este vídeo muestro un experimento real de análisis automático de textos compuesto por miles de peticiones y varios millones de tokens por ensayo. Partiendo de un antiguo proyecto que resultaba prácticamente imposible de automatizar, construyo un proceso híbrido en el que la aplicación se encarga de la orquestación y distintos modelos realizan únicamente las tareas que requieren IA. Comparo cuatro ensayos, analizando consumo de tokens, uso de caché, coste por modelo y por etapa, errores de diseño, calidad de los resultados y algunos comportamientos inesperados de los modelos. El objetivo no es encontrar una receta universal, sino mostrar con datos una idea sencilla: optimizar un proceso con IA significa reducir la incertidumbre y el trabajo que dejamos al modelo, mantener limpio el contexto y utilizar inteligencia solo donde realmente aporta valor. 00:00 Introducción 00:51 El contexto 02:10 Caché de entrada 02:58 Tokens de salida 03:28 Organización de tareas 05:00 Formatos de respuesta 06:10 Minimizar el contexto 07:10 Funciones como documentación 07:45 Optimizar el prompt 08:47 ¿Un proyecto imposible? 11:09 No con la ayuda de la IA 11:25 Pasos del proceso 13:44 Otra optimización del prompt 14:10 Implementando todo esto en la aplicación 16:13 Registro de operaciones 16:33 El script completo 17:02 Los cuatro ensayos 19:20 Los datos de uso en OpenAI 21:24 El contexto registrado 26:00 Calidad de los resultados 28:55 Gráficas de uso de tokens 31:12 Gráficas de coste total 34:10 Gráfica de coste por paso