Почему локальный ИИ отвечает глупо? Я измерил 4 совета — 3 рухнули

Большинство тех, кто настраивает локальный ИИ, сталкиваются с одним и тем же: установка завершена, железа более чем достаточно, но ответы ужасны. Интернет по этой проблеме всегда дает одни и те же четыре совета. Я проверил эти четыре совета на своей машине один за другим — и три из них не выдержали проверки. 🌐 bapati.com Это видео не список "измени эту настройку". Это запись измерений. Два семейства моделей, одна машина, одни и те же вопросы. Я намеренно сломал шаблон чата: модель не сломалась, разница составила два символа. Я прогнал температуру при трех разных значениях: стабильного улучшения не вышло, более того, при повторном запуске того же теста порядок поменялся. Утверждение, что "Ollama всегда тихо обрезает промпты", тоже не совсем верно: один и тот же запрос в зависимости от точки входа либо громко выдает ошибку, либо тихо возвращает неверный ответ. Уцелели две вещи. Одна простая: модель без instruct вообще не научилась принимать инструкции и просто повторяет ваш вопрос как попугай. Это не ошибка настроек, а ошибка скачивания не того файла. Настоящая точка слома — это окно контекста, и там выяснилось то, чего я не ожидал. Я отправлял документ, постепенно увеличивая его. Вплоть до 4.039 token количество прочитанного моделью в точности совпадало с отправленным. Затем я добавил еще 160 token: объем прочитанного упал до 2.050. Сколько бы я ни увеличивал, оно там и осталось. Окно 4.096; при превышении она читает ровно половину. То же поведение в точности повторилось и в другом окне. Это не постепенная обрезка. Это обрыв. И модель вам об этом не говорит: на экране нет ошибки, в логах нет ни строчки. Она просто дает худшие ответы. В конце я измерил и цену увеличения окна: 16.000 и 64.000 дают абсолютно одинаковый ответ, но один в 2,3 раза медленнее. Так что совет "открой на максимум" тоже неверен. В видео я четко называю границы измерений: два семейства моделей, одна машина, на процессоре, короткие вопросы с числовым ответом. Генерация длинного текста выходит за рамки этого теста. Если у тебя результаты отличаются, пиши в комментарии. ⏱️ Разделы 0:00 Я отдал девять страниц, он прочитал две 0:31 Проблема не в твоей машине 1:05 Тихий сбой в моей установке 1:36 Четырёхпунктовый рецепт интернета 1:57 1. совет: неправильный шаблон модели всё портит 2:52 2. совет: понизь температуру — точность увеличится 3:57 3. совет: запросы Ollama тихо обрываются 4:43 4. Совет: не скачивайте то, что не instruct 5:28 Основной разлом: обрыв 6:31 Почему это ровно половина? 7:08 У увеличения есть цена 7:51 Так и нужно пользоваться 8:44 Закрытие 🤖 Связанное видео Как 54 GB Искусственный интеллект помещается в 8 GB ноутбук? — как модель уменьшается    • 54 GB'lık Yapay Zeka 8 GB Laptopa Nasıl Sı...   🤖 Настройка локального искусственного интеллекта с нуля:    • Yapay Zekayı Kendi Bilgisayarında Çalıştır...   Как подписчик, вы можете получать доступ к новому контенту. #yerelai #ollama #baglampenceresi #llm #yapayzeka #teknoloji