Evals First – Building Agents That Survive Real Users | Agents im Weggla 01

➡️ Ein echter Production-BI-Agent, echte Nutzer, echte Failures – und warum Evals vor dem Bauen kommen. 🎫 Tickets für das nächste Agents-im-Weggla-Meetup (28.10., club199 Nürnberg): https://agentsimweggla.de Es gibt ein Muster, das man bei Agent-Teams immer wieder sieht: erst bauen, dann deployen, dann auf Failures reagieren. Alex Key dreht die Reihenfolge um – Define Success, Dataset bauen, evaluieren, iterieren. Anhand eines realen „Chat with your Data“-Agenten aus der Produktion zeigt er, was schiefgeht, wenn man es nicht tut, und wie systematische Evaluierung stattdessen aussieht. Mit dabei: die drei Ebenen der Evaluation (Outcome, Process, Operational), der Umgang mit echten User-Inputs statt Wunschdenken – und die wichtigste Produktfrage überhaupt: Für wen ist das Ding da, und was soll es ausdrücklich nicht tun? 💡 Key Takeaways: Erst Erfolg definieren, dann bauen. Datensätze aus echten Nutzereingaben schlagen synthetische Annahmen. Alex' Agent Evaluation Scorecard gibt's kostenlos auf seiner Website – ohne E-Mail-Adresse. 🎤 Speaker: Alex Key – AI Engineer (pamoriq) ℹ️ Hinweis: Das Funkmikrofon hatte in den ersten Minuten ein technisches Problem – bitte entschuldigt die Tonqualität zu Beginn. 🎥 Aufgezeichnet bei Agents im Weggla #01 im club199 Nürnberg – dem Agentic-Coding-Meetup von AXDN: https://agentsimweggla.de ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ 🚀 AXDN//27 — THE AI CONFERENCE Die AI Konferenz in Nürnberg: 1 Tag · 4 Tracks · 1 Main Stage. Fine Dining & Aftershow inklusive. 📍 KORN'S am Kornmarkt, Nürnberg 📅 22.04.2027 🎟️ Tickets & alle Infos: https://axdn.io/ ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ #agentsimweggla #agenticcoding #aiagents #evals #ainights #nürnberg #axdn #axdn27