Почему оценка ИИ — самый важный навык для директоров по ИИ | Виджай Кришнан, Turing

Во что на самом деле должны инвестировать руководители отделов ИИ в условиях стремительного развития моделей и агентов ИИ? В этом выпуске *CIO Connect* Санджай Пури беседует с **Виджаем Кришнаном, основателем и техническим директором Turing**, чтобы обсудить одну из самых больших проблем, стоящих сегодня перед руководителями предприятий в области ИИ: **как достаточно тщательно оценивать системы ИИ, чтобы принимать правильные решения**. Виджай объясняет, почему, по его мнению, **оценки — или «тестирование» — это навык, в который руководители отделов ИИ инвестируют меньше всего**, и почему предприятиям необходимо создавать дисциплинированные системы оценки, прежде чем принимать решение о развертывании моделей, агентов или систем ИИ. Разговор подробно затрагивает меняющийся ландшафт данных ИИ, роль человеческих и синтетических данных, среды обучения с подкреплением (RL Gyms), агентов ИИ, оценку, специфичную для предприятий, и то, как компании могут безопасно обучать и тестировать агентов, не подвергая производственные системы ненужному риску. Виджай также объясняет, почему предприятиям следует сосредоточиться на **трех-пяти наиболее важных сценариях использования ИИ**, создавать надежные системы оценки на их основе и сравнивать модели по **качеству, стоимости, скорости и коммерческой ценности**, а не просто выбирать наиболее эффективную модель. *В этом эпизоде:* Почему оценка ИИ становится необходимой для каждого предприятия Разница между синтетическими данными и данными, полученными от экспертов Достигла ли индустрия ИИ уже предела возможностей в плане данных? Что такое RL Gyms и как они обучают агентов ИИ Как предприятия могут создавать симулированные среды для агентов ИИ Почему важны автоматизированные критерии оценки Как сравнивать перспективные модели с более мелкими и дешевыми моделями Почему собственные корпоративные данные могут стать конкурентным преимуществом Как регулируемые отрасли могут безопасно обучать агентов ИИ Почему предприятиям следует избегать преждевременных инвестиций в неразрешимые сценарии использования ИИ Почему агенты ИИ с долгосрочным горизонтом, вероятно, станут намного более способными Как руководителям ИИ следует думать о затратах на ИИ Когда следует создавать внутренние возможности оценки, а когда работать с внешним партнером Почему сотрудники, ориентированные на ИИ, будут становиться все более важными Три этапа внедрения ИИ на предприятиях Данные о людях против синтетических данных Перспективные модели против тонких небольших моделей Навык, в который руководители ИИ чаще всего недоинвестируют Что предприятиям следует сделать в этом квартале, чтобы подготовиться к следующему этапу ИИ *Совет Виджая руководителям ИИ на предприятиях прост: определите три-пять основных сценариев использования в бизнесе, создайте для них строгие критерии оценки и поймите Компромиссы между качеством, стоимостью и скоростью в различных моделях.* Подписывайтесь на CIO Connect, чтобы следить за беседами с руководителями отделов ИИ, директорами по информационным технологиям, техническими директорами и лидерами корпоративных технологий, формирующими будущее ИИ. #EnterpriseAI #ArtificialIntelligence #AIAgents #ChiefAIOfficer #AILeadership #AIEvals #GenerativeAI #ReinforcementLearning #AIData #Turing #CIOConnect #SanjayPuri #VijayKrishnan Разделы *00:00* Навык ИИ, в который руководители отделов ИИ недостаточно инвестируют *00:32* Добро пожаловать на CIO Connect *01:10* Знакомьтесь, Виджай Кришнан, основатель и технический директор Turing *02:04* Достиг ли ИИ «стены данных»? *03:43* Данные, полученные от людей, против синтетических данных *05:17* Проблема данных для корпоративного ИИ *06:30* Поиск подходящих сценариев использования ИИ *07:33* Что такое RL Gyms? *08:19* Как агенты ИИ обучаются в смоделированных средах *09:10* Обучение агентов, использующих компьютер *10:07* Создание автоматизированных верификаторов ИИ *11:18* Почему агентам нужны тысячи итераций *12:35* Могут ли предприятия создавать собственные среды RL? *13:44* Почему важны корпоративные оценки *15:50* Могут ли собственные данные ИИ стать конкурентным преимуществом? *16:19* Агенты ИИ в регулируемых отраслях *17:54* Выбор правильных задач корпоративного ИИ *18:51* Почему дисциплинированные оценки станут обязательным условием *20:29* Можно ли повторно использовать среды RL? *21:37* Экономика обучения и оценки ИИ *23:10* Как выбрать экспертов-оценщиков *25:06* Создание или покупка возможностей оценки ИИ *26:59* К чему должны готовиться руководители ИИ *28:35* Передовые модели против экономически эффективного ИИ *29:00* Как предприятиям следует оптимизировать затраты на ИИ *30:07* Три этапа внедрения ИИ на предприятиях *32:42* Будущее экономики ИИ на предприятиях *32:51* Блиц-опрос *33:14* Один навык, в который руководители ИИ недостаточно инвестируют *34:10* Данные против вычислительных ресурсов: что является более се...