Джу-Ён Ким, генеральный директор HyperAccel: об ИИ-чипах, инференсе LLM и эффективности

Джу-Ён Ким — генеральный директор HyperAccel и доцент KAIST, где его исследования сосредоточены на специализированном оборудовании для ИИ и выводе больших языковых моделей. ~~~~~~~~~~~~~ Этот эпизод представлен компанией Nebius — лучшим облачным сервисом для новаторов в области ИИ. Nebius предоставляет надежную инфраструктуру ИИ, сочетающую надежность и скорость с гибкостью и инженерной поддержкой, не имеющими аналогов среди крупных облачных провайдеров. Лидеры в области ИИ, такие как Meta, Shopify и Higgsfield, уже сотрудничают с Nebius для выполнения своих задач ИИ. Кроме того, стартапы, финансируемые венчурным капиталом, могут сэкономить до 150 000 долларов на вычислительных затратах, подав заявку на доступ. Посетите nebius.com или nebius.com/startups, чтобы узнать больше. ~~~~~~~~~~~~~ Он основал HyperAccel в 2023 году после более чем семи лет работы в Microsoft, где участвовал в проекте Catapult, занимавшемся разработкой ускорителей FPGA для облачных центров обработки данных. Его работа включала ускорение таких задач, как сжатие данных, шифрование, транскодирование видео и машинное обучение в облачной инфраструктуре Microsoft. В HyperAccel он разрабатывает процессор LLM (LPU), специализированный процессор для ИИ, предназначенный для запуска больших языковых моделей с меньшей задержкой и улучшенной экономичностью и энергоэффективностью. Его карьера объединяет академические исследования, гипермасштабное облачное оборудование и предпринимательство в полупроводниковой отрасли, с акцентом на устранение узких мест инфраструктуры, возникающих по мере масштабирования генеративного ИИ. Темы Почему вывод больших языковых моделей требует иного подхода к архитектуре чипов ИИ Разработка специализированных полупроводников для ИИ для повышения скорости вывода, энергоэффективности и эксплуатационных расходов Превращение академических исследований и опыта работы с гипермасштабными облачными сервисами в стартап в полупроводниковой отрасли #ИскусственныйИнтеллект #ЧипыИИ #Полупроводники #ВыводLLM #ИнфраструктураИИ