СОЗДАЙ СВОЮ LLM С НУЛЯ (Эпизод 1)! Я обучил 2 нейросети на своем ПК
VitoMind
0:00 / 0:00
СОЗДАЙ СВОЮ LLM С НУЛЯ (Эпизод 1)! Я обучил 2 нейросети на своем ПК
455 просмотров · 11 дн. назад
VitoMind
255 подписчиков
455 просмотров · 11 дн. назад
СОЗДАТЬ СОБСТВЕННЫЙ ЛИНГВИЧЕСКИЙ МИКРОПОДЪЕМНИК С НУЛЯ?! Я создал два ИИ на одном обычном ПК: Sherlock-GPT, трансформер, обученный с нуля на книгах о Шерлоке Холмсе менее чем за 9 минут, и Python-репетитор, созданный на основе Qwen3.5-2B с LoRA менее чем за 4 минуты. В этом 15-серийном курсе вы создадите оба ИИ самостоятельно, строка за строкой, начиная с вашей самой первой строки кода на Python.
Серия 1: что мы будем создавать, краткая история ИИ от Тьюринга до ChatGPT, что такое модель на самом деле, как языковая модель записывает по одному токену за раз, и честные результаты (включая то, что не сработало).
00:00 Давайте создадим свой собственный ИИ
00:10 Два ИИ, построенных на одном ПК
00:55 Что представляет собой этот курс (и чем он не является)
01:34 История ИИ: Тьюринг, первый нейрон, Дартмут, персептрон Mark I
03:16 От «зимы ИИ» до Трансформера и ChatGPT
03:59 Что такое модель на самом деле
04:30 Предсказание следующего слова (действительные числа)
05:14 Что происходит, когда вы общаетесь с ИИ
05:58 Как учился Sherlock-GPT
06:27 Карта: три проекта, 15 эпизодов
07:10 Обучение с нуля против тонкой настройки
07:52 Реальные результаты
08:25 Что вам нужно, чтобы следить за ходом урока
08:59 Далее: эпизод 2
Всё в этом видео реально: все числа получены в результате запуска на RTX 3060 (12 ГБ) с фиксированными начальными значениями и логами.
• Sherlock-GPT: 10,8 млн параметров, 8 книг о Шерлоке Холмсе, опубликованных до 1927 года (общественное достояние, Project Gutenberg), 8 мин 40 с обучения.
• Python-репетитор: Qwen3.5-2B (Apache 2.0) + LoRA на 264 парах вопросов/ответов, написанных для этого курса, 3 мин 42 с обучения.
• Протестировано на 50 вопросах, которые никогда не встречались: формат репетитора 100% (исходная модель 0%), правильно проверенный результат 64% (исходный 4%) — исходная модель никогда не обучалась для этого формата, поэтому это показатель нашей тонкой настройки, а не общего качества Qwen.
Полный код каждого эпизода, протестированный с использованием точных версий библиотек: Ruocco Academy → https://ruocco.it/academy/
Источники: А. М. Тьюринг, «Вычислительные машины и интеллект», Mind (1950) · Маккалок и Питтс (1943) · Персептрон Розенблатта (1958) · Мински и Паперт, «Персептроны» (1969) · Крижевский, Суцкевер и Хинтон, AlexNet (2012) · Васвани и др., «Внимание — это все, что вам нужно» (2017).
Архивные фотографии и документы (все в общественном достоянии или под лицензией Creative Commons, через Wikimedia Commons):
• Алан Тьюринг, 1951 — Эллиот и Фрай, общественное достояние
• Джером Леттвин и Уолтер Питтс — Iapx86, CC BY-SA 3.0 (creativecommons.org/licenses/by-sa/3.0) — commons.wikimedia.org/wiki/File:Lettvin_Pitts.jpg
• «Предложение по летнему исследовательскому проекту Дартмутского университета по искусственному интеллекту», 1955 — Маккарти, Мински, Рочестер, Шеннон, общественное достояние
• Фрэнк Розенблатт, ок. 1950 — неизвестный автор, CC BY-SA 4.0 (creativecommons.org/licenses/by-sa/4.0) — commons.wikimedia.org/wiki/File:Frank_Rosenblatt.jpg
• IBM 704 в НАСА Лэнгли, 1957 — НАСА, общественное достояние
• Персептрон Mark I — Национальный музей ВМС США, общественное достояние
• Марвин Мински, 2008 — Sethwoodworth / Bcjordan, CC BY 3.0 (creativecommons.org/licenses/by/3.0) — commons.wikimedia.org/wiki/File:Marvin_Minsky_at_OLPC.jpg
• Журнал The Strand, июль 1891 г., и портрет Шерлока Холмса, 1904 г. — Сидни Пейджет, общественное достояние
Если вы хотите создать свой собственный ИИ вместе со мной, подпишитесь — во 2-м эпизоде устанавливается Python и Создаёт наш первый генератор текста.
#llm #машинноеобучение #python