Ornith 1.5 35b-a3b | Достойная повседневная модель
Галера Морева
0:00 / 0:00
Ornith 1.5 35b-a3b | Достойная повседневная модель
10 282 просмотра · 3 дн. назад
Галера Морева
11,2 тыс. подписчиков
10 282 просмотра · 3 дн. назад
Мое закрытое сообщество
https://amorev.ru/promo
Мой ИИ-провайдер
https://ai.wormsoft.ru.
Мой Telegram-канал
https://t.me/gmoreva
Наконец-то, спустя почти месяц, добрался до Ornith 1.5 35B-A3B. После ролика про 9-милиардную версию я тогда офигевал от того, что она может — а про старшую всё откладывал. И зря. Модель построена на базе Qwen 3.5 и Gemma 4, дообучена специально доводить задачи до конца: MoE-архитектура, 35 млрд параметров, но активны только ~3 млрд на токен . Специализация — кодинг и агентские задачи, по бенчмаркам SWE-bench Verified она обходит и Qwen3.6-35B-A3B, и даже 397-миллиардный денсный Qwen .
Запускал в двух форматах: llama.cpp (квант Q8_0 на 2×3090 — 3.5К токенов/сек на чтении, 75 на генерации) и vLLM — и тут я офигел: чтение под 8000, генерация 140 токенов в секунду. После Bonsai из прошлого ролика это было нечто.
Таймкоды:
00:00 Введение
00:47 Как я запускал модель?
01:34 Первые задача. Сервис техподдержки
04:31 Доработка системы бэкапов
09:46 Добавляем проект в систему бэкапов
18:32 Следующая задача
23:11 Задача. Перенос активного S3-хранилища
26:39 Следующая задача. Встроенный в чат медиа-генератор
34:47 Проверка image_edit
36:29 Делаем возможным выбор модели генерации
38:06 Итоги