Ваша видеокарта искусственно ограничена в ИИ: как её разблокировать?

Разблокируйте свой графический процессор и получите двукратное ускорение локального ИИ на видеокартах RTX с помощью llamacpp и Strata. В собственных спецификациях NVIDIA указано, что матричные вычисления FP16 и BF16 с накоплением FP32 выполняются на половинной скорости на всех видеокартах GeForce RTX, начиная с 2080 Ti, в то время как рабочие станции на тех же чипах работают на полной скорости. Сообщество нашло способ вернуть полную скорость в Linux, используя ошибку в собственной загрузочной прошивке NVIDIA. Ничего не перепрошивается, и всё сбрасывается при выключении питания. Я разблокировал обе RTX 3060 на своём домашнем сервере и измерил, что изменилось: от матричных вычислений до llama.cpp, Strata и генерации изображений, а также на каких видеокартах это работает. Измерения на моей системе (2x RTX 3060 12 ГБ, Linux): cuBLAS, умножение 8192 матриц, входы FP16 с общим количеством FP32: 27,25 → 49,39 TFLOPS (+81%). BF16 +82%, TF32 +93%. Результат идентичен до и после. llama.cpp (Qwen3-VL 8B Q8_0): предварительное заполнение при 512 токенах 2176 → 2182 т/с, при 16k +4,6%, декодирование без изменений 39,1 т/с. Strata (движок MoE), запрос с 32k токенами: предварительное заполнение 812 → 950 т/с (+17%). Репозитории исходного кода (собирайте только из них; готового разблокировщика для Windows нет, а в 2022 году появился поддельный "разблокировщик LHR" для видеокарт RTX 30, поставляемый с вредоносным ПО): RTX 30 (Ampere): https://github.com/Zagitta/gpu-unlock RTX 20 (Turing): https://github.com/nlzy/turing-unlock RTX 40 (Ada, ранний форк): https://github.com/JustAResearcher/gp... Исправление для 3060, которое мне понадобилось (устройство 10de:2544): https://github.com/Zagitta/gpu-unlock... Технические документы NVIDIA (найдите строку вашей карты: FP16 Tensor TFLOPS with FP32 Accumulate): Turing: https://images.nvidia.com/aem-dam/en-... Ampere GA102: https://www.nvidia.com/content/PDF/nv... Ada: https://images.nvidia.com/aem-dam/Sol... Blackwell: https://images.nvidia.com/aem-dam/Sol... Другие источники: Обсуждение на fast.ai 2018 года о половинной скорости FP32: https://forums.fast.ai/t/geforce-rtx-... Разблокировка майнинговой карты CMP 170HX (Tom's Hardware): https://www.tomshardware.com/pc-compo... Обсуждение на Hacker News: https://news.ycombinator.com/item?id=... Опрос Steam Hardware: https://store.steampowered.com/hwsurv... Благодарность Zagitta за разблокировку видеокарты и Джон Прай, чья работа над майнинговыми картами NVIDIA легла в основу этого проекта. Прежде чем попробовать: неудачная попытка может привести к тому, что карта станет непригодной для использования до выключения компьютера, а код новый. Сначала прочтите README репозитория и трекер проблем для вашей конкретной карты. Напишите в комментариях, какую карту и какой движок вы используете, и я скажу, стоит ли это делать. Разделы: 0:00 Вступление 0:40 Технические характеристики 2:47 Переключатель 4:28 Преодоление блокировки 6:57 Разблокировка моих 3060 10:10 Ускорится ли мой ИИ? 13:36 Будет ли это работать на вашей карте? 16:11 Стоит ли? теги: #llamacpp #localai #strata #aiagents