Тонкая настройка PaliGemma для преобразования изображений в JSON

В этом уроке я покажу, как доработать PaliGemma, новую открытую модель обработки изображений и языка от Google, для решения задачи преобразования изображения чека в JSON. Цель модели — научиться выводить JSON, содержащий все ключевые поля чека, такие как товары, их цены и количество. Обратите внимание, что PaliGemma — лишь одна из многих моделей обработки изображений и языка, выпущенных в последнее время. Блокнот можно найти здесь: https://github.com/NielsRogge/Transfo...