10. Превосходит ли медицинская модель ИИ Клода Соннета или GPT-4o в гистологических исследованиях?

В этом видео, 10-м из серии «Прикладные LLM для ученых», мы проводим полноценный количественный тест: 5 моделей машинного зрения, 11 гистологических изображений почек, вручную проверенные эталонные данные, 4 метрики. Главный вопрос: превосходит ли MedGemma, медицинская модель машинного зрения от Google, обученная на гистопатологических данных, универсальные модели, такие как GPT-4o и Claude Sonnet, на научных изображениях? Протестированные модели: • GPT-4o (OpenAI, API) • Claude Sonnet (Anthropic, API) • MedGemma 4B (Google, локально через Ollama) • LLaVA 7B (локально через Ollama) • LLaVA 13B (локально через Ollama) Метрики: точность классификации, MAE подсчета клубочков, калибровка достоверности, распознавание красителей. Результаты оказались не такими, как мы ожидали. Мы также обнаружили, что MedGemma 4B испытывает трудности с дифференциацией гистопатологии на тонком уровне, она не может надежно отличать клубочки от почечных канальцев, и мы исследовали причины этого в нашем блокноте. Вывод: размер модели и настройка инструкций имеют большее значение, чем специализированное обучение при малом количестве параметров. Код и эталонные данные в формате CSV: https://github.com/bnsreenu/llm-visio... Плейлист:    • Applied LLMs for Scientists