Сергей Михалев — Оптимизация SQL-запросов, часть 1

Сергей Михалев, VIAcode — Оптимизация SQL-запросов, часть 1
Встреча CodeFreeze в Петербурге, 28.08.2013

В среду, 28 августа в бизнес-инкубаторе «Ингрия» состоялась встреча с разработчиком компании VIACode Сергеем Михалевым. Из доклада слушатели узнали о том, какие проблемы с производительностью могут возникнуть при работе с самыми, казалось бы, обыкновенными SQL-запросами и об оптимизации этих запросов.

По ходу доклада мы последовательно рассмотрим несколько весьма непростых ситуаций, все глубже и глубже вникая в область оптимизации запросов. Для этого нам потребуется определённый уровень понимания устройства и работы SQL Server-а, а также глубокие знания в области оптимизации запросов. Несмотря на то, что основой для примеров служит MS SQL, многие аспекты могут быть применены и к другим СУБД.

Мы разберемся с такими вопросами как:

— жизненный цикл запросов — механизм подготовки, кеширования и исполнения запросов в MS SQL;
— основы чтения планов выполнения запросов;
— влияние внешних ключей, кластерных представлений и вычислимых столбцов на производительность запроса;
— проблема неявного преобразования типов;
— статистика сервера и как она может влиять на скорость исполнения запроса.

Материал для доклада собран из реальных проектов и задач. Многие примеры выстраданы долгими часами, днями (а то и месяцами) напряженной работы. Доклад будет полезен всем, кто работает с базами данных.

[lesvhyc]

Спасибо, Сергей, взял на заметку трюк с OUTER APPLY!

[wciirrv]

Спасибо за замечание. Действительно сталкивался я с этим параметром. Но реально никогда его не менял. Просто потому, что протестировать действительный эффект на работающем продакшене и просчитать последствия практически невозможно. Так воздействие ведеться сразу на все запросы. И это возможно будет работать быстрее в тестировании, но обычно на продакшене машиша мощнее и не ясно, как это может сказаться там.

[aensidhe]

Про параллелизм: есть параметр cost threshold for parallelism (подробнее в MSDN, ютуб не дали приложить ссылку). С её помощью можно менять порог "последовательный план недостаточно быстрый". Это необходимо, т.к. фактически, есть системы, в которых параллельные планы реально медленнее последовательных. Многие рекомендуют его повышать, если система скорее всего не требует параллелизма (например, OLTP-системы).

[miheygm]

Сергей, Вы говорите что оптимизатор использует хороший план, но не лучший. Т.к. никому не нужно, чтобы план был самым лучшим и запрос выполнялся очень быстро, но при этом сам план строился 10 секунд. Вот у меня такой вопрос, можно ли ради эксперимента настроить оптимизатор так, чтобы он увеличил время на выбор оптимального плана?

[iklova]

Сергей, спасибо большое за обучение. Очень доходчиво подаете информацию. Получил много полезного. 
Но не акцентируйте, пожалуйста, внимание на том, что parameter sniffing это плохо. 
Наоборот необходимо использовать запросы без явного указания значений фильтрации. Это в большинстве случаев ускорит отработку запросов, т.к. в плане уже будет готов результат и не нужно каждый раз компилить.
Использовать изменённый запрос нужно лишь тогда, когда действительно в этом есть большая необходимость, кода СУБД действительно промахивается. 

[elenelenaelena]

Пожалуйст подскажите ссылку на документацию (для разговора с начальством) в подтверждении ваших слов

о важности наличия foreign key для оптимизации запроса

вы говорите:
"хотя если бы он знал, что эта запись всегда одна, он бы выбросил этот кластеред индекс seek и просто ограничился бы по одному пробегу по табличке диагнозов"

[psuzecj]

Сергей, зачем нужно в ваших примерах указывать оптимизатору, что во втором потоке может быть максимум одна строка через outer apply, group by, кластерное вью, если в итоге данные из второго потока просто не используются и поэтому план становится лучше. Такого же результата можно добиться просто убрав второй поток из запроса. Зачем Вы проводите все эти манипуляции? Какой в них смысл?

[blpzpmz]

Услышал интересные вещи из первой части, но так и не понял, зачем мы так упорно пытаемся приджойниться к остальным таблицам и при этом избежать реального к ним обращения, вместо того, чтобы вообще не указывать их при получении COUNT. Пример примером но в реальной работе никогда не возникнет ситуации, когда нужно будет избегать обращения к таблицам, который сам же в запрос и приписал

[Pankin]

не совсем понял про 4 пункт добавление комментариев - при добавлении комментария sql думает что это уже другой запрос?

[ozgrzcn]

"ответственного нам врача"
"определённой нам больницы"
"более меньшие части"

[lesvhyc]

"nested looD" на 30-м слайде :)

[teastrum]

IT шники сйчас выглядят более спортивно. Похоже, компании очень заботятся о ценных кадрах, дают много плюшек

[diktbnb]

развитие умерло 5-7 лет назад? Куда не посмотри, все видосы древние как мама не горюй, что по запросам, что по настройке серверов

[diktbnb]

зачем коверкать говоря сиквел? s это ЭС, а не СИ. Удобнее и короче не стало, в чем смысл

[valera]

спасибо за видео, но вот иностранные словечки вставлять это режет слух, а где пресловутое импорт замещение