8 локальных ИИ-моделей на Raspberry Pi 5: только 3 из них пригодны для работы

Я запустил 8 локальных моделей ИИ на Raspberry Pi 5, чтобы ответить на два вопроса: есть ли реальная польза от запуска модели ИИ на Pi и какую модель следует использовать на самом деле? Каждая модель получила одинаковую настройку и четыре одинаковые практические задачи. Я измерил скорость генерации в токенах в секунду и время, необходимое каждой модели для начала ответа. Затем я разделил их на три группы: пригодные для чата, пригодные только для фоновых задач и те, которые можно пропустить. 🖥️ Настройка Raspberry Pi 5 (8 ГБ) — https://link.amazon/B01qhRpQT 2× NVMe SSD — https://link.amazon/B02tZCeon Клавиатура — https://link.amazon/B02cu02Uj ------------------------------------------------------- 📬 Рассылка — https://weekly.blokhin.us ❤️ Patreon —   / zerotomvp   ------------------------------------------------------- ⏱️ Временные метки 00:00 Может ли Pi 5 запускать полезный ИИ? 00:10 Что считается «пригодным для использования» 01:37 Настройка: Raspberry Pi 5, SSD, llama.cpp 02:44 8 моделей 04:01 Скорость генерации 05:09 Два потока против четырех 05:35 Время до первого слова 06:33 Задача 1: Суммирование 07:14 Задача 2: Сортировка файлов 07:40 Задача 3: Преобразование электронной почты в JSON 08:07 Задача 4: Вызов инструмента 08:45 Какие модели действительно пригодны для использования ------------------------------------------------------- #RaspberryPi #LocalAI #LocalLLM P.S. Как партнер Amazon, я получаю доход от соответствующих покупок.