От диагностики плана запроса до Text-to-SQL модели. Дмитрий Безруков.

У вендора, как правило, нет доступа к кластерам заказчиков, поэтому выявлять проблемы и объяснять их причины должен сам продукт. В докладе Дмитрий рассказал, какие аналитические методы применяются в инструментах ADQM – диагностика плана запроса, обнаружение зависимостей между объектами БД, статистические модели нагрузки на кластер и новый сервис на основе модели Text-to-SQL, дообученной под диалект ClickHouse. Спикер: Дмитрий Безруков, Руководитель отдела технических менеджеров ядра платформы данных, Arenadata 00:00 Представление спикера, структура доклада 02:29 Контекст добавления диагностики в Arenadata QuickMarts (ADQM) 04:21 Чем ADQM Notebook лучше /play 05:41 Что показывает граф зависимостей 06:21 Как план запроса помогает найти проблему 09:59 Как ADQM Control анализирует кластер 15:44 Кто и как нагружает кластер 17:57 Как мы научили продукт писать SQL-запросы, и зачем нам для этого своя модель Text-to-SQL 20:16 Как точность модели выросла с 27,5% до 64% 26:57 Как модель Text-to-SQL работает в продукте 30:17 Безопасность и развитие ADQM 32:21 Подведение итогов: чему мы научили ADQM 33:43 Ответы на вопросы #ADQM