#003 · Wenn der Benchmark lügt — mit Artus Krohn-Grimberghe

Dr. Artus Krohn-Grimberghe hat einen medizinischen KI-Benchmark geprüft und festgestellt, dass er vor allem Formelwissen und Rechengenauigkeit misst. Über eigene Messlatten, KI-Projekte, die an unternehmensinternen Hürden scheitern, und die Daten, die Daten, die Daten. Kennengelernt haben wir uns in Paderborn. Artus war dort von 2012 bis 2018 Juniorprofessor für analytische Informationssysteme und Business Intelligence, ich hielt eine Gastvorlesung zu Data Vault. Heute ist er Gründer und AI/ML Engineering Lead der LYTiQ GmbH und bringt seit über zehn Jahren KI in Produktion, von Empfehlungssystemen über Computer Vision in der industriellen Qualitätskontrolle bis zu LLM- und RAG-Anwendungen. Angefangen hat alles über Weihnachten mit einem Posting, das aus schlechten medizinischen Benchmark-Ergebnissen ableitete, KI tauge nicht für die Medizin. Das hat ihn so getriggert, dass er den Laptop aufgeklappt und sich den MedCalc-Bench genauer angesehen hat. Dabei fand er über 20 Fehler in den Rechner-Implementierungen und zeigte, wie stark sich die Ergebnisse verbessern, wenn die benötigten Formeln mitgeliefert werden. Aus dem Audit wurde eine Zusammenarbeit mit dem Autor des Benchmarks, und aus der Neugier gleich das nächste Hobbyprojekt: ein Nature-Paper über Marsbeben, das er zusammen mit einer KI überprüft hat. Was daraus für Unternehmen folgt, sagt Artus ganz pragmatisch: einen eigenen Datensatz für die eigenen Probleme bauen und selbst messen, so wie wir es in der BI schon immer gemacht haben. Und eher dem glauben, was der Server zurückmeldet, als dem, was der nette Sales-Repräsentant sagt. Danach reden wir darüber, warum so viele KI-Projekte bei der Demo stehen bleiben (seine Antwort: meistens unternehmensinterne Hürden), wie viel Datenmodell eine RAG- oder Agentenanwendung braucht, und über die Überzeugung, die ihm die Praxis ausgetrieben hat: „Für mich als Professor waren es am Anfang immer die Algorithmen … Aber in der Realität sind es halt die Daten, die Daten, die Daten." ── Kapitel ── 00:00 Intro 01:46 Paderborn: Datenmodellierung damals und heute 04:00 Der MedCalc-Bench: Was misst der Benchmark wirklich? 10:56 Echo auf das Audit — und ein Paper über Marsbeben 15:25 Woran Unternehmen ihre KI messen sollten 19:38 Warum KI-Projekte bei der Demo stehen bleiben 22:23 Wie viel Datenmodell eine KI-Anwendung braucht 28:36 Erst die Algorithmen, dann die Daten 32:13 Signature Question: antifragil durch Druck 34:35 Outro ── Erwähnungen & Links ── • Artus Krohn-Grimberghe auf LinkedIn: https://tedamoh.de/xsl8k • LYTiQ GmbH: https://tedamoh.de/84l23 • Paper „MedCalc-Bench Doesn't Measure What You Think: A Benchmark Audit and the Case for Open-Book Evaluation" (arXiv, 2026): https://tedamoh.de/zbm4m • Marsbeben-Paper „A registered public-data reproducibility benchmark for the reported PKiKP detection of a Martian inner core" (überarbeitete Fassung, 17.08.2026): https://tedamoh.de/pbhxz • Code und Materialien dazu: https://tedamoh.de/pleu7 • Blogserie Q1/2026 „KI-gestützte Datenmodellierung", Teil 1 – Das KI-Paradox: https://tedamoh.de/z9tae ★ Bewerten hilft: Eine Bewertung bei Apple Podcasts oder Spotify sorgt dafür, dass andere Datenmenschen den Podcast finden. Bei Apple: Show-Seite öffnen, nach unten zu „Bewertungen & Rezensionen" scrollen, Sterne antippen. ► Abonnieren & Newsletter: https://podcast.tedamoh.com ► Apple Podcasts: https://podcasts.apple.com/de/podcast... ► Spotify: https://open.spotify.com/show/0348Coq... ► Amazon Music: https://music.amazon.de/podcasts/7285... ► Deezer: https://www.deezer.com/de/show/100348... ► Pocket Casts: https://pca.st/338rfxuc ► TrueFans: https://truefans.fm/antifragile-data ► RSS-Feed: https://api.riverside.com/hosting/MCl... [antifragile data] – der Podcast über Data, AI und die Geschichten dahinter, mit Dirk Lerner (TEDAMOH). Ehrlich, praxisnah und manchmal unbequem. Neue Folgen alle drei Wochen, dienstags. Jede Folge mit Gast endet mit derselben Frage: „Wann hast du das letzte Mal etwas erlebt, das dich als Data Professional antifragiler gemacht hat – nicht nur robuster, sondern stärker durch Druck oder Rückschlag?" Dirk Lerner ist Berater, Autor und Gründer von TEDAMOH – The Data Modeling Hub. Mehr: https://tedamoh.com #Data #AI #Datenmodellierung #DataVault #DataEngineering #Podcast