07-SAM3 против Grounding DINO + SAM2 — что лучше для получения научных изображений?

В седьмом видео из серии «Прикладные LLM для ученых» мы тестируем SAM3, новую унифицированную модель обработки изображений и языка от Meta, в сравнении с нашим конвейером Grounding DINO + SAM2 на реальных гистологических изображениях почек. SAM3 принимает текстовый запрос и создает маски сегментации за один проход, заменяя двухмодельный конвейер одной. Мы проводим трехстороннее сравнение на одном и том же изображении с одним и тем же запросом: SAM3 с нулевым уровнем обработки Grounding DINO + SAM2 с нулевым уровнем обработки Тонко настроенный Grounding DINO + SAM2 (24 изображения, Val F1 = 0,70) Результаты не соответствуют ожиданиям. SAM3 терпит неудачу на запросах, специфичных для данной области, но восстанавливается на геометрических запросах. Тонко настроенный DINO + SAM2 явно выигрывает. Вывод: базовые модели, обученные на естественных изображениях, не автоматически переносятся в научные области, тонкая настройка даже на небольшом наборе данных по-прежнему имеет значение. Мы также подробно рассмотрим настройку SAM3 и запуск обоих бэкендов в обновленном инструменте аннотирования (версия 5). Код: https://github.com/bnsreenu/llm-visio... Плейлист:    • Applied LLMs for Scientists