Извлечение именованных сущностей (NER): объяснение — дообучение BERT менее чем в 100 строк | Глуб...

Классификация присваивает одну метку каждому тексту. Распознавание именованных сущностей присваивает одну метку каждому токену — какие слова относятся к людям, организациям, местам и датам? EP47 объясняет распознавание именованных сущностей от начала до конца и предоставляет простой скрипт из 97 строк, который вы можете запустить уже сегодня. ✅ NER как классификация токенов (PER, ORG, LOC, MISC) ✅ Пошаговое объяснение тегирования IOB / IOB2 ✅ BERT для классификации токенов → форма логитов [пакет, последовательность, метки] ✅ Проблема подслов + выравнивание меток с помощью word_ids() и -100 ✅ Тонкая настройка DistilBERT (с учетом регистра) на CoNLL-2003 с помощью Hugging Face Trainer ✅ Оценка на уровне сущностей с помощью seqeval (гораздо строже, чем точность) ✅ Честное замечание: в CoNLL нет метки DATE → гибрид (модель + правила) ⏱ ГЛАВЫ (вставьте сюда точные временные метки из output/youtube_chapters.txt) 💻 Полный код: github.com/CodeToAGI/deep-learning-series/ep47 🎯 Задание в видео: 1. Запустите скрипт → опубликуйте свою таблицу последовательностей для каждого типа 2. Протестируйте 5 своих предложений → опубликуйте одно неудачное предложение 3. Добавьте один дополнительный экстрактор на основе правил (электронные письма, номера заказов…) Следующий эпизод (EP48): Генерация текста и разработка подсказок Подпишитесь, чтобы пройти полный путь от нейронов до GPT (72 эпизода). #NER #NamedEntityRecognition #BERT #TokenClassification #HuggingFace #DeepLearning #NLP #CodeToAGI