Понимание структуры рассуждений в языковых моделях

Сохейл Фейзи (Университет Мэриленда, Колледж-Парк) https://simons.berkeley.edu/talks/soh... Надежный ИИ: от галлюцинаций к надежной автономии Крупные языковые модели становятся все более способными к рассуждению, но для надежности требуется нечто большее, чем просто правильное решение отдельных задач. Модели должны рассуждать в условиях неопределенности, эффективно распределять вычислительные ресурсы, распознавать свои ограничения и решать, когда и как использовать внешнюю информацию или инструменты. В этом докладе я расскажу о последних работах по структуре и динамике рассуждений в языковых моделях, их способности рассуждать в условиях неопределенности и механизмах управления вычислениями во время вывода. Во всех этих контекстах повторяющейся темой является то, что сильные базовые возможности не всегда приводят к надежному поведению в процессе рассуждений. Понимание этого разрыва — и внутренних сигналов и механизмов, управляющих рассуждениями, — станет центральным элементом создания более надежных и автономных систем ИИ.