Ускорение запросов в CoddSpeed: аппаратные сопроцессоры на пути к продакшену

В этой презентации будет показано, как лаборатория Gray Systems Lab компании Microsoft создает универсальную платформу для ускорения обработки данных. На примере сопроцессора TQP GPU будет представлена ​​инженерная философия и практические рекомендации более чем 60 инженеров по внедрению передовых аппаратных технологий в сложные коммерческие системы, включая уроки по предотвращению ошибок. Тема презентации: Ускорение запросов со скоростью CoddSpeed: Аппаратные сопроцессоры на пути к производству Аннотация: Современные облачные платформы постоянно выпускают ряд специализированных аппаратных средств — графические процессоры (GPU), программируемые логические интегральные схемы (FPGA), DPU, ускорители ИИ и т. д., — которые потенциально могут обеспечить значительное повышение производительности при обработке аналитических запросов. В идеале, универсальная конструкция сопроцессора позволила бы нам интегрировать этот потенциал в зрелые коммерческие системы управления базами данных. Однако на практике это чрезвычайно сложно. Настоящие проблемы часто кроются не в самих ядрах, а в системе типов, семантике ANSI, кодировании структуры данных, доступности оборудования и строгости инженерных процессов, требуемых для производственной кодовой базы, на которую полагаются десятки тысяч клиентов. В этом докладе речь пойдёт о CoddSpeed, инициативе в рамках хранилища данных Fabric компании Microsoft, направленной на создание универсальной инфраструктуры аппаратного ускорения выполнения запросов для поддержки интеграции различных сопроцессоров с течением времени. Мы рассмотрим повторяющиеся проблемы, которые должны быть решены в таких интеграциях, принятые нами архитектурные решения и неожиданные сценарии работы в реальных производственных условиях, которые неизбежно возникают при переходе от контролируемых рабочих нагрузок к производственным. Опираясь на наш опыт работы с графическим процессором TQP (Tensor Query Processor), который эволюционировал из исследовательского прототипа в систему, созданную более чем 60 инженерами, мы представим откровенный пример перехода исследований в области ускорителей из лаборатории в производство.