Ставка профессора на 24 миллиона долларов
Tensormesh
0:00 / 0:00
Ставка профессора на 24 миллиона долларов
20 просмотров · 11 дн. назад
Tensormesh
101 подписчик
20 просмотров · 11 дн. назад
Как сократить затраты на вывод результатов ИИ на 80% | Цзюньчэнь Цзян, Tensormesh, в программе Born in Silicon Valley
Соучредитель и генеральный директор Tensormesh Цзюньчэнь Цзян присоединяется к Джейку Аарону Вильярреалу в программе Born in Silicon Valley. Они обсуждают, почему именно вывод результатов, а не обучение, является основной причиной роста затрат на ИИ, и как оптимизация кэша ключ-значение позволяет компаниям обрабатывать гораздо больший объем трафика ИИ на уже имеющихся у них графических процессорах.
Цзюньчэнь рассказывает, как он прошел путь от руководителя исследовательской группы по системным технологиям в Чикагском университете до создания стартапа, финансируемого венчурным капиталом, в Фостер-Сити. Темы включают:
• Почему «вывод данных захватит мир»
• Как кэширование ключ-значение предотвращает повторное чтение одного и того же контента графическими процессорами
• Превращение исследований в готовые к использованию в промышленности системы
• Открытый исходный код и внедрение в сообщество
• Создание команды и уроки лидерства
• Куда дальше двинется слой данных ИИ
🎙️ Оригинальная публикация Born in Silicon Valley, ведущий Джейк Аарон Вильярреал (Match Relevant). Смотрите оригинал: • One Professor's $24M Bet
Узнайте больше о Tensormesh: https://tensormesh.ai
#AIInference #KVCache #LLM #GenerativeAI #Startups #Tensormesh