Что такое токен и почему AI берёт за Это деньги. LLM простыми словами

Открываем чат с ИИ, задаём вопрос — и почти никогда не задумываемся, что происходит под капотом. Почему мы платим не за минуты, не за сообщения, не за мегабайты, а именно за токены. В этом видео разбираю LLM изнутри простыми словами: что такое токен, откуда он взялся, как модель на самом деле «понимает» текст, и почему за это берут деньги. Никакого кода — только объяснение для тех, кто хочет понять, чем пользуется каждый день. 📌 Тайм-коды: 00:00 За что мы на самом деле платим ИИ 03:55 Что такое токен 06:14 Алгоритм 1994 года, о котором забыли на 21 год 11:01 Что такое модель на самом деле 12:19 Эмбеддинг: 4000 чисел на одно слово 15:15 Как обучается модель 18:11 Откуда берётся «понимание» смыслов 20:21 Почему AI берёт деньги именно за токены 23:06 Смотрим токены вживую в TikTokenizer 🔗 Полезные ссылки: 🧪 TikTokenizer — https://tiktokenizer.vercel.app/ 📄 Оригинальная статья Philip Gage (1994) — http://www.pennelynn.com/Documents/CU... 🎬 Обзор Claude AI: как он заменил мне Gemini, NotebookLM и Antigravity —    • Обзор Claude AI: Как он заменил мне Gemini...   🎬 Год на Gemini: сравниваю с Claude —    • Год на Gemini: файлы наконец-то! Сравниваю...   🎬 Claude для Новичков: с чего начать —    • Claude для Новичков: Почему Он Кажется Сло...   📢 Мой Telegram: https://t.me/BohomolovLab ☕️ ПОДДЕРЖАТЬ КАНАЛ: Самый выгодный способ (без комиссии): ➢ Ko-fi: https://ko-fi.com/bohomolovlab АЛЬТЕРНАТИВНЫЕ СПОСОБЫ: ➢ PayPal: bohomolovstudio@gmail.com ➢ Buy Me a Coffee: https://www.buymeacoffee.com/Bohomolo... 🛠 МОЕ ОБОРУДОВАНИЕ: Покупая по этим ссылкам, вы не переплачиваете, но поддерживаете канал: 🎙 Микрофон (DJI Mic Mini 2): Amazon 🇩🇪/🇳🇱: https://amzn.to/464W20S Aliexpress: https://fas.st/UZ0Hmn 💡 Свет (Godox P260C Pro): Amazon 🇩🇪/🇳🇱: https://amzn.to/4anvUQr Aliexpress: https://fas.st/gWOE- 📷 Камера (Sony ZV-E10): Amazon 🇩🇪/🇳🇱: https://amzn.to/4riVuge 🔭 Штатив (NEEWER N284L 200 cm Tripod): Amazon 🇩🇪/🇳🇱: https://amzn.to/3Z3Ya59 🔦 Мини-свет (Ulanzi VL119): Amazon 🇩🇪/🇳🇱: https://amzn.to/3NAMpAT Aliexpress: https://fas.st/WR3FV 👍 Если было полезно — палец вверх, это двигает канал. #claude #llm #токены #нейросети #какработаетии