Просто автозамена? Как мыслит ИИ

ChatGPT — это просто продвинутая функция автозаполнения? По своей сути, он предсказывает следующее слово. Но чтобы делать это хорошо, ему нужно создать нечто удивительно умное внутри. Давайте разберемся, как ИИ мыслит, словно в видеоигре. Шесть миров и секретный уровень: Библиотека: как он учится, угадывая следующее слово триллионы раз Тренер: почему он полезен и немного слишком услужлив (подхалимство) Бросок кубика: почему он пишет по одному слову за раз и почему на один и тот же вопрос могут быть два ответа Белая доска: как он «запоминает» ваш чат и что происходит, когда чат становится слишком длинным Комната для размышлений: модели рассуждений, блокноты и инструменты Босс: почему ИИ придумывает вещи и как его победить Секретный уровень: исследователи заглянули внутрь и обнаружили модели, создающие собственную картину доски Ваша задача: спросите ИИ что-нибудь, что вы уже знаете, и посмотрите, сможете ли вы поймать его на угадывании. Расскажите в комментариях, что вы заметили. 0:00 Что происходит внутри ChatGPT? 0:32 Мир 1: Библиотека (как она учится) 1:24 Мир 2: Тренер (почему она такая покладистая) 2:16 Мир 3: Бросок кубика (по одному слову за раз) 3:05 Мир 4: Белая доска (память и внимание) 4:00 Мир 5: Комната для размышлений (рассуждения и инструменты) 4:56 Мир 6: Босс (почему ИИ придумывает вещи) 5:50 Секретный уровень: заглядываем внутрь 6:51 Собираем всё воедино 7:25 Что дальше для ИИ 7:53 Ваша задача Источники: Meta, "Представляем Meta Llama 3" (2024): обучена на более чем 15 триллионах токенов Ouyang et al., "Обучение языковых моделей следовать инструкциям с обратной связью от человека" (InstructGPT, OpenAI, 2022) Sharma et al., "К пониманию Подхалимство в языковых моделях» (Anthropic, 2023); OpenAI, «Подхалимство в GPT-4o» (2025) Васвани и др., «Внимание — это все, что вам нужно» (Google, 2017) Документация Claude и ChatGPT по ограничениям длины разговора, суммированию («сжатию») и памяти OpenAI, «Обучение рассуждениям с помощью языковых моделей» (o1, 2024); DeepSeek-R1 (2025) Фредерик, «Когнитивное отражение и принятие решений» (2005): головоломка с битой и мячом Хагендорф, Фаби и Косински, Nature Computational Science (2023): более старые модели GPT попали в ловушку с битой и мячом Калай и др., «Почему языковые модели вызывают галлюцинации» (OpenAI, 2025) Системная карта OpenAI o3 и o4-mini (2025): модели рассуждений могут вызывать галлюцинации чаще, а не реже Anthropic docs, «Уменьшить галлюцинации» (пусть модель скажет «Я не знаю») Ли и др., «Возникающие представления о мире» (Othello-GPT, ICLR 2023); Нанда (2023) Карвонен, «Возникающие модели мира и оценка скрытых переменных в языковых моделях, имитирующих шахматную игру» (2024) Антропик, «Отслеживание мыслей большой языковой модели» (2025): планирование рифмы «кролик» Оценки любимой еды — это иллюстрация, а не реальные числа. Музыка: «Retro Gaming Exoskeleton» от bouncyrunner (Pixabay). Подписывайтесь на OverBuild Labs, чтобы быть в курсе ИИ, криптовалют и 3D-печати: @OverBuildLabs на YouTube и X, и OverBuildLabs.com. #AI #ChatGPT #HowAIWorks