Атаки на основе токенизатора: как злоумышленники используют особенности обработки текста ИИ

Атаки с использованием токенизатора используют разрыв между тем, как фильтры безопасности считывают входные данные, и тем, как их понимают языковые модели. Каждая языковая модель преобразует текст в целочисленные идентификаторы токенов с помощью фиксированного, детерминированного токенизатора до того, как произойдут какие-либо другие действия. Этот этап преобразования является поверхностью атаки. В этом видео подробно рассматриваются шесть семейств атак с использованием токенизатора: Замена омоглифов заменяет латинские символы визуально идентичными кириллическими эквивалентами. Текст на экране выглядит неизменным, но токенизатор выдает совершенно другую последовательность токенов. Исследования семи моделей с открытым исходным кодом показали, что процент обхода составляет от 10 до 92 процентов, при этом замена омоглифов оказалась наиболее эффективным методом использования специальных символов с показателем 58,7 процента среди протестированных моделей. Замена всего 10 процентов символов на эквиваленты из других языков изменяет примерно 70 процентов токенов BPE. Вторичным эффектом является инфляция стоимости: замена 57 процентов символов приводит к увеличению стоимости в 5,2 раза. Внедрение невидимых символов использует символы Unicode нулевой ширины (U+200B, U+200C, U+200D, U+2060, U+FEFF, U+00AD) и символы тегов (U+E0000 до U+E007F) для встраивания полезной нагрузки, которая отображается как ничто в любом интерфейсе, но обрабатывается токенизатором и понимается моделью. Успешно продемонстрировано на производственных системах чата, включая DeepSeek. Разделение токенов, также называемое TokenBreak, вставляет символы в критически важные для безопасности слова, так что токенизатор фрагментирует их на безобидные на вид части. В статье «Нарушение безопасности на границе токена» было обнаружено, что жадная вставка пробелов переворачивает триггеры отказа на 80–100 процентах запросов в пяти семействах моделей (Gemma, Mistral, Qwen, Llama). Из свернутых ответов 48 процентов были признаны действительно опасными. В 30 000 примерах обучения технике безопасности не было обнаружено ни одного намеренно фрагментированного запроса. Методы манипулирования цепочкой поставок нацелены на файл tokenizer.json, поставляемый вместе с весами модели в таких репозиториях, как Hugging Face. В мае 2026 года HiddenLayer продемонстрировала три метода манипулирования токенизатором: внедрение прокси-сервера URL через переназначенные токены, подстановка команд, превращающая безобидные слова в команды для кражи учетных данных, и внедрение вызова инструмента через модифицированные скобочные токены. Эти атаки работали с форматами SafeTensors, ONNX и GGUF и выдержали доработку. Отдельная атака Hugging Face на цепочку поставок репозитория Open-OSS/privacy-filter использовала вредоносный скрипт загрузчика для доставки программы-похитителя информации примерно через 244 000 загрузок. Манипулирование классификатором с помощью EchoGram создает враждебные последовательности токенов, которые заставляют классификаторы безопасности менять вердикты без изменения самого токенизатора. Инфляция выставления счетов использует любой из этих методов для увеличения количества токенов без изменения видимого содержимого. Затем в видео рассматриваются реальные методы защиты: нормализация NFKC в сочетании с отображением, допускающим путаницу согласно техническому стандарту Unicode 39 (функция скелета), для нейтрализации омоглифов, удаление невидимых символов с учетом языка, привязка хеша SHA-256 для файлов токенизатора, сопоставленных с OWASP LLM03 и MITRE ATLAS AML.T0010, многоуровневое обнаружение с использованием регулярных выражений на уровне текста плюс классификаторы на уровне токенов плюс семантические судьи LLM, такие как Llama Guard (которые снизили вероятность успешной атаки на 27-28 процентных пунктов при всего 0,8 процентных пункта избыточного отказа), и почему одного только обучения выравниванию недостаточно для устранения этой проблемы. Подписывайтесь на @kandi-brian, чтобы получать больше подробной информации о кибербезопасности и безопасности ИИ. #АтакиНаТокенизаторы #БезопасностьLLM #БезопасностьИИ #ВнедрениеПодсказок #АтакаНаГомоглифы #ЭксплойтЮникода #ВзломТокена #БезопасностьЦепочкиПоставок #ОбразованиеВКибербезопасности #AIRedTeam