История оптимизации одного большого запроса средствами MSSQL Profiler и 1С

Публикация № 252236

Разработка - Практика программирования

оптимизация запрос profiler план выполнения запроса

144
Я думаю многие из Вас сталкивались с необходимостью оптимизации больших запросов, которые трудно поддаются рефакторингу. Иногда такие запросы бывают настолько объемны (несколько тысяч строк кода и десятки запросов в пакете), что просто не знаешь с какой стороны к ним подступиться. В статье я описал историю оптимизации заполнения документа «Начисление зарплаты сотрудникам» в ЗУП 2.5 на одном из проектов. В итоге получился некий «мини-гайд» как можно использовать SQL Profiler и План выполнения запроса для выявления неоптимальных/некорректных участков кода для больших запросов.

Добрый день, уважаемые коллеги.

Небольшая предыстория. Основной целью проекта являлась консолидация двух достаточно больших нетиповых баз ЗУП 2.5 (общее количество подразделений 140, сотрудников 4700). Базы ЗУП до нас дорабатывались и сопровождались другими подрядчиками, а нас привлекли именно на консолидацию. После консолидации пользователи сообщили о сильно возросшей длительности операции заполнения документа «Начисление зарплата сотрудникам». Собственно с этого момента я подключился к этому вопросу.

 

Часть I – Подготовительная:

 

Если театр начинается с вешалки, то любая оптимизация начинается с установки подсистемы «Замеры производительности» из БСП. Как внедрять и что за подсистема неплохо описано, например, в этой статье //catalog.stavanalit.ru/public/193233/, поэтому на этом подробно останавливаться не буду. Описание самой методики APDEX хорошо дано на kb.1c.ru, а так же у Славы Гилева http://www.gilev.ru/apdex-teoriya/ и Антона Гусева (наш сотрудник - http://antongusev.ru/article2.html).

Если вкратце, то методика APDEX является широко распространенным международным стандартом оценки производительности информационных систем и является:

  • объективной: оценка не зависит от субъективных факторов (эмоции, мнения и т.п.);
  • прикладной: оценка отражает реальную производительность прикладных операций, а не абстрактные технические показатели;
  • интегральной: оценка учитывает все аспекты работы системы, все требования бизнес-логики системы и удобство работы каждого пользователя;
  • количественной: оценка является численной для того, чтобы можно было сравнивать производительность, полученную при разных обстоятельствах (например, до и после оптимизации);
  • качественной: оценка интерпретируется в терминах «хорошо» - «плохо».

Сказать, что у нас дела были плохо – это значит не сказать ничего Undecided. Оценка показывала «неприемлемо».

 Оценка производительности

 Время выполнения в максимуме иногда достигало 20 минут (см. ниже).

 Замеры времени


Теперь понятно, ЧТО нужно оптимизировать, пока непонятно КАК. Идем дальше…

 

Часть II – Неудачная, но длинная

 

Естественно, что первым делам был сделан замер производительности средствами 1С. Он обрадовал и не обрадовал одновременно. 95% на один запрос из 10 минут - это конечно хорошо, так как мы сходу нашли «узкое место», с другой стороны – не стоит рассказывать про монструозность запросов в ЗУП о которых ходят легенды. Запросы на тысячу строк кода и десятками временных таблиц, собираемый по кусочкам из разных мест. К сожалению, мне попался именно такой запрос – соответственно, как я говорил выше, провести нормальный рефакторинг кода, учитывая полное отсутствие каких-либо комментариев со стороны разработчиков ЗУП, дело мягко говоря неблагодарное.

Простой перезапуск запроса через консоль в тестовой базе подтвердил достаточно длительное время выполнения запроса, но пытаться найти вручную один «плохой» запрос из пары десятков не очень хотелось. Было принято решение запустить запрос через SQL Profiler, т.к. через него я смогу сузить область поиска «плохого» запроса.

Запускаем Microsoft SQL Profiler (performance tools в Пуск). Как запустить SQL Profiler и подключиться к нужному серверу – выходит за рамки статьи – это более подробно описано в других местах (sql.ru / BOL).

Запускаем новый trace со следующим набором событий (Events) (см. ниже). Можно уменьшить выборку колонок, которые будут собираться, но для упрощения можно просто выделить все - пока не принципиально.

 Trace

 

Не забываем установить фильтры событий, чтобы не собирать всякий «мусор» (т.е. события других баз, в т.ч. основной базы, напоминаю, что мы работаем в тестовой базе). Чтобы узнать ID базы можно выполнить запрос select DB_ID ( [ 'database_name' ] ) в SQL Server Management Studio

 Filter

Стартуем трейс перед началом заполнения и останавливаем после завершения. Дальше выгружаем его в таблицу для удобства работы.

 Выгрузка в таблицу

Для простоты можно выгрузить в tempdb с каким-нибудь простым именем, потом эту таблицу можно не задумываясь удалить. Находим длительные операции запросом

SELECT *

FROM [tempdb].[dbo].[temp]

ORDER BY Duration DESC

//temp – название таблицы в которую выгрузили трейс из Profiler

Пример выполнения запроса на скриншоте ниже (немного другого :), но суть та же)

 Результат

Видим две строчки с ОЧЕНЬ высоким Duration с ними и будем разбираться. В MS SQL Profiler находим по StartTime – EndTime (все строчки расположены по возрастанию EndTime). Проанализируем вторую строчку, как наибольшую. Находим строчку в замере Profiler’а.

Пример трейса

Смотрим план запроса (это строчка сразу НАД найденной строкой). Этим кстати и объясняются все танцы с бубном вокруг выгрузки трейса в таблицу, так как у планов выполнения запроса нет метрики Duration и найти план выполнения запроса без привязки к основному запросу крайне затруднительно. Не буду приводить полный ПВЗ, а покажу только его часть – в ПВЗ видим постоянные table scan с весом в 14% каждый с одной и той же таблицей #tt38.

 

 ПВЗ

 

Смотрим таблицу #tt38 в ней обнаруживается 2 миллиона строк (см. ниже)!!! Явная ошибка именно в этой таблице -  в данных по зарплате по одному подразделению не может быть такого количества записей даже с самой маленькой детализацией (если только не предположить, что у сотрудников посекундная тарификация :))

 tt38

Находим наш запрос в 1С. Вот он - куча левых соединений с таблицей ЗначенияПоказателей.

 Запрос1С

Я думаю у многих возникает вопрос: «А как найти аналог запроса 1С по известному нам запросу SQL?». Для этого есть следующие «помощники»:

  • известные объекты в запросе SQL (т.е. когда SQL обращается не к временной, а к какой-то физической таблице). Соответствие между объектами 1С и объектами СУБД можно получить при помощи метода ПолучитьСтруктуруХраненияБазыДанных(), а дальше уже поиском находим нужный запрос
  • необычные агрегатные функции (максимум, среднее или количество различных)
  • структура запроса (например: два левых соединения и одно прямое с вложенным подзапросом) достаточно точно указывает на запрос 1С
  • условия соединений

Это последний (результирующий) запрос в пакете. Разбираться надо с таблицей #tt38 (это кстати вторая строка по длительности в трейсе – insert into #tt38). Аналогичным образом находим ПВЗ для таблицы #tt38 (см. ниже).

  ПВЗ№2

Проблема начинается в выделенном фрагменте (именно с этого момента возникает 2 миллиона строк), на входе у нас приходит две таблицы на 3000 строк, которые объединяются. Подумал, что стоит на всякий случай проверить - нет ли ошибки при объединении, так как уже было сказано выше - 2 млн. строк быть не должно.

Мы уже знаем, что нам нужна таблица ЗначенияПоказателей - ниже приведен текст проблемного запроса. И действительно была обнаружена ошибка в соединении, которая выделена подчеркиванием (в конце запроса).

 

ВЫБРАТЬ
   
ПоследниеЗначенияПоказателей.Период КАК ПериодДействия,
   
ЗначенияПоказателей.Физлицо,
   
ЗначенияПоказателей.Показатель,
   
ЗначенияПоказателей.ИсходноеЗначение,
   
ЗначенияПоказателей.Значение,
   
ЗначенияПоказателей.Валюта,
   
ЗначенияПоказателей.ВводитсяВВалюте,
   
ЗначенияПоказателей.КурсВалюты,
//pma(
   
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоДолжности) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ  КАК ПоДолжности,
//++ SMI 29.04.13
   
ВЫБОР
        КОГДА
ЗначенияПоказателей.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению)
               
ИЛИ ЗначенияПоказателей.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделениюИСотруднику)
           
ТОГДА ИСТИНА
        ИНАЧЕ ЛОЖЬ
    КОНЕЦ
КАК ПоПодразделению,
//-- SMI 29.04.13
   
ЕСТЬNULL(ЗначенияПоказателей.Подразделение, Значение(Справочник.Подразделения.ПустаяСсылка)) КАК Подразделение,
   
ЕСТЬNULL(ЗначенияПоказателей.Должность, Значение(Справочник.ДолжностиОрганизаций.ПустаяСсылка)) КАК Должность
//pma)
ПОМЕСТИТЬ ЗначенияПоказателей
ИЗ
   
ЗначенияПоказателейИсходныйПериодДействия КАК ЗначенияПоказателей
        ВНУТРЕННЕЕ СОЕДИНЕНИЕ (ВЫБРАТЬ
           
МАКСИМУМ(ЗначенияПоказателей.ПериодДействия) КАК ПериодДействия,
           
ПериодыФизлиц.Период КАК Период,
           
ЗначенияПоказателей.Физлицо КАК Физлицо,
           
ЗначенияПоказателей.Показатель КАК Показатель,
//pma(
       
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоДолжности) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ  КАК ПоДолжности,
       
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ  КАК ПоПодразделению,
           
ЕСТЬNULL(ЗначенияПоказателей.Подразделение, Значение(Справочник.Подразделения.ПустаяСсылка)) КАК Подразделение,
           
ЕСТЬNULL(ЗначенияПоказателей.Должность, Значение(Справочник.ДолжностиОрганизаций.ПустаяСсылка)) КАК Должность
//pma)
       
ИЗ
           
ЗначенияПоказателейИсходныйПериодДействия КАК ЗначенияПоказателей
                ВНУТРЕННЕЕ СОЕДИНЕНИЕ ПериодыФизлиц КАК ПериодыФизлиц
                ПО ЗначенияПоказателей.Физлицо = ПериодыФизлиц.ФизЛицо
                    И ЗначенияПоказателей.ПериодДействия <= ПериодыФизлиц.Период

        СГРУППИРОВАТЬ ПО
           
ЗначенияПоказателей.Физлицо,
//pma(
           
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоДолжности) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ,
           
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ,
           
ЗначенияПоказателей.Подразделение,
           
ЗначенияПоказателей.Должность,
//pma)
           
ПериодыФизлиц.Период,
           
ЗначенияПоказателей.Показатель) КАК ПоследниеЗначенияПоказателей
        ПО ЗначенияПоказателей.Физлицо = ПоследниеЗначенияПоказателей.Физлицо
            И ЗначенияПоказателей.Показатель = ПоследниеЗначенияПоказателей.Показатель
            И ЗначенияПоказателей.ПериодДействия = ПоследниеЗначенияПоказателей.ПериодДействия
//pma(
           
И (ПоследниеЗначенияПоказателей.ПоДолжности И ЕСТЬNULL(ЗначенияПоказателей.Подразделение, Значение(Справочник.ДолжностиОрганизаций.ПустаяСсылка)) = ПоследниеЗначенияПоказателей.Подразделение ИЛИ Не ПоследниеЗначенияПоказателей.ПоДолжности)
           
И (ПоследниеЗначенияПоказателей.ПоДолжности И ЕСТЬNULL(ЗначенияПоказателей.Должность, Значение(Справочник.ДолжностиОрганизаций.ПустаяСсылка)) = ПоследниеЗначенияПоказателей.Должность ИЛИ Не ПоследниеЗначенияПоказателей.ПоДолжности)
//pma)

Как обычно получили две новости – хорошую и плохую. Начинаем с «хорошей» – нашли ошибку в старом коде. «Плохая» – ошибка не влияет ни на качество (нет данных, на которых она бы проявилась), ни (что логично исходя из кода) на производительность операции (повторный аналогичный анализ опять показал 3000 записей на входе и 2 млн строк при объединении). Но, как говорится, – «все что ни делается – всё к лучшему» (с). Во-первых, ошибку все равно нашли, а во-вторых, еще больше сузили область поиска проблемного запроса. Теперь стало понятно, что ошибка кроется в большом количестве записей на входе (3000) в таблицу ЗначенияПоказателей.

Часть III – Удачная и короткая:

 

Чтобы проанализировать запрос заполнения таблицы ЗначенияПоказателей, пришлось собрать текст запроса из двух разных мест (хорошо, что только из двух :)). Итоговый текст ~1200 строк и 25 запросов в пакете (напоминаю, что это только ЧАСТЬ(!) общего запроса).

После беглого анализа результатов запроса в консоли 1С было обнаружено следующее, что в таблице ЗначенияЕжемесячныхПоказателей было декартово произведение сотрудников подразделения и всех значений показателя ОтработаноДнейВДолжности по всем подразделениям и сотрудникам организации, а нам этот показатель нужен только для подразделения, значит не хватает условия по подразделению и сотруднику в условии соединения.

Смотрим запрос:

ВЫБРАТЬ РАЗЛИЧНЫЕ
   
ЗначенияПоказателейСхемМотивации.ПериодДействия КАК ПериодДействия,
   
ДвиженияРаботников.Физлицо КАК Физлицо,
   
ЗначенияПоказателейСхемМотивации.Подразделение КАК Подразделение,
   
ЗначенияПоказателейСхемМотивации.Показатель КАК Показатель,
   
ЗначенияПоказателейСхемМотивации.Значение КАК Значение,
   
ЗначенияПоказателейСхемМотивации.Валюта КАК Валюта
ПОМЕСТИТЬ ЗначенияЕжемесячныхПоказателей
ИЗ
   
ВТДвиженияРаботников КАК ДвиженияРаботников
        ВНУТРЕННЕЕ СОЕДИНЕНИЕ РегистрСведений.ЗначенияПоказателейСхемМотивации КАК ЗначенияПоказателейСхемМотивации
        ПО (ЗначенияПоказателейСхемМотивации.Организация = ЗНАЧЕНИЕ(Справочник.Организации.ПустаяСсылка))
           
И (ЗначенияПоказателейСхемМотивации.ПериодДействия = НАЧАЛОПЕРИОДА(&парамНачало, МЕСЯЦ))
           
И (ВЫБОР
                КОГДА
ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.Индивидуальный)
                       
ИЛИ ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя ЕСТЬ NULL
                    ТОГДА
ДвиженияРаботников.Физлицо = ЗначенияПоказателейСхемМотивации.Сотрудник.Физлицо
                КОГДА ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению)
                   
ТОГДА ДвиженияРаботников.Подразделение = ЗначенияПоказателейСхемМотивации.Подразделение
                КОГДА ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделениюИСотруднику)
                   
ТОГДА ДвиженияРаботников.Физлицо = ЗначенияПоказателейСхемМотивации.Сотрудник.Физлицо
                            И ДвиженияРаботников.Подразделение = ЗначенияПоказателейСхемМотивации.Подразделение
                ИНАЧЕ ИСТИНА
            КОНЕЦ
)

ОБЪЕДИНИТЬ

ВЫБРАТЬ РАЗЛИЧНЫЕ
   
ЗначенияПоказателейСхемМотивации.ПериодДействия,
   
ДвиженияРаботников.ФизЛицо,
   
ЗначенияПоказателейСхемМотивации.Подразделение,
   
ПоказателиСхемМотивации.Ссылка,
   
ЗначенияПоказателейСхемМотивации.Значение,
   
ЗначенияПоказателейСхемМотивации.Валюта
ИЗ
   
ВТДвиженияРаботников КАК ДвиженияРаботников
        ВНУТРЕННЕЕ СОЕДИНЕНИЕ РегистрСведений.ЗначенияПоказателейСхемМотивации КАК ЗначенияПоказателейСхемМотивации
        ПО (ЗначенияПоказателейСхемМотивации.Организация = ЗНАЧЕНИЕ(Справочник.Организации.ПустаяСсылка))
           
И (ЗначенияПоказателейСхемМотивации.ПериодДействия = ДОБАВИТЬКДАТЕ(НАЧАЛОПЕРИОДА(&парамНачало, МЕСЯЦ), МЕСЯЦ, -1))
           
И (ВЫБОР
                КОГДА
ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.Индивидуальный)
                       
ИЛИ ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя ЕСТЬ NULL
                    ТОГДА
ДвиженияРаботников.ФизЛицо = ЗначенияПоказателейСхемМотивации.Сотрудник.Физлицо
                КОГДА ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению)
                   
ТОГДА ДвиженияРаботников.Подразделение = ЗначенияПоказателейСхемМотивации.Подразделение
                КОГДА ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделениюИСотруднику)
                   
ТОГДА ДвиженияРаботников.Физлицо = ЗначенияПоказателейСхемМотивации.Сотрудник.Физлицо
                            И ДвиженияРаботников.Подразделение = ЗначенияПоказателейСхемМотивации.Подразделение
                ИНАЧЕ ИСТИНА
            КОНЕЦ
)
            ВНУТРЕННЕЕ СОЕДИНЕНИЕ
Справочник.ПоказателиСхемМотивации КАК ПоказателиСхемМотивации
            ПО ЗначенияПоказателейСхемМотивации.Показатель = ПоказателиСхемМотивации.ПоказательПредыдущегоПериода
                И (ПоказателиСхемМотивации.ПредыдущийПериод)

 

 

При заполнении временной  таблицы ЗначенияЕжемесячныхПоказателей идет соединение Движений и ЗначенийПоказателей в условии соединения идет ВЫБОР КОГДА с различными вариантами по ВидамПоказателей

Были указаны виды:

  • Индивидуальный
  • ПоПодразделению
  • ПоПодразделениюИСотруднику

Если не один из указанных, то ИСТИНА (то есть без ограничений), т.е. если вид показателя не равен ни одному из указанных, то фактически появляется соединение по ИСТИНА, что равно перемножению таблиц. Излишне говорить, что именно это и происходило Smile

Причина ошибки - в программу предыдущими разработчиками было добавлено новое значение перечисления показателя «ПоКадровымДаннымСотрудника», который заполняется по подразделению и должности и который не был описан в условии соединения.

Решение – добавить новое условие в ВЫБОР КОГДА по новому виду показателя.

Скорректированный код запроса приводить не буду – логика понятна.

Время выполнения текущего запроса снизилось с 2 секунд до 0.2 секунд и снизилось количество записей до 300. 

 

IV часть – Заключительная и опять короткая :)

 

Результаты оптимизации стали видны сразу:

  • Невооруженным взглядом – время заполнения документа изменилось с «очень долго» на «практически мгновенно».
  • Вооруженным – APDEX изменился с «неприемлимо» до «отлично».

 Оценка2

 

 Замеры выполнения ДО и ПОСЛЕ оптимизации разделены красным маркером.


Замеры2

 

ВЫВОДЫ

  1. План выполнения запросов MSSQL из SQL Profiler удобно использовать для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах и либо находить, либо сужать область поиска неоптимального или некорректного кода, особенно когда проводить рефакторинг кода запроса крайне затруднительно или невозможно.
  2. Анализ планов выполнения запроса так же помогает выявить запросы, которые сами по себе выполняются достаточно быстро по отношению к общему времени выполнения запроса, но которые критическим образом сказываются на общем времени выполнения. Такие "некорректные" запросы очень тяжело выявить используя только стандартные средства 1С без визуализации плана выполнения.
  3. Когда у тебя руки чешутся, чтобы сделать что-нибудь полезное – проверь не сделал ли это кто-нибудь до тебя (с) Здесь я имею ввиду – Консоль запросов 1С с одновременной возможностью просмотра плана выполнения запроса из SQL Profiler. Такая обработка уже есть – //catalog.stavanalit.ru/public/56973/ - автор Ararat. Пока, к сожалению, воспользоваться ей не довелось, но судя по отзывам и рекомендациям – там все нормально, и она отработает так как надо. Думаю, что с такой обработкой я бы решил задачу быстрее, так как с Profiler'ом было бы поменьше работы. Так что думаю обработка из разряда - must have.
  4. Начинать любую оптимизацию лучше всего с внедрения подсистемы «Оценка производительности» и установки замеров времени выполнения, чтобы четко отслеживать результаты оптимизации. 
  5. На производительности могут сказываться неочевидные и труднонаходимые ошибки в коде. (с) Капитан Очевидность
  6. Очередное подтверждение правила, если что-то стало медленно работать – 90% что надо искать «кривой» код

В качестве P.S., крайне рекомендую к прочтению статью Славы Гилева «Влияние оптимизатора запросов на производительность 1С» - в ней очень хорошо показана вся внутренняя кухня оптимизатора СУБД, плана выполнения запроса и всего остального. Статья из разряда «must read», особенно тем, кто готовится к Эксперту по ТВ или просто хочет чуть лучше понимать как оно "ТАМ" работает :)

 

144

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо
1. awk 692 21.01.14 22:32 Сейчас в теме
А почему profiler, а не технологический журнал?
3. Armando 1391 21.01.14 22:45 Сейчас в теме
Согласен с (1). По ТЖ проще найти проблемный запрос в 1С.
4. barelpro 1085 21.01.14 22:56 Сейчас в теме
(1)(3) Парни, а разве ТЖ показывает ПВЗ?
6. headMade 140 21.01.14 23:41 Сейчас в теме
(4) barelpro,

да, начиная с 8.2.14 показывает

"Реализована возможность помещения в технологический журнал плана запроса СУБД. Для этого в конфигурационный файл технологического журнала добавлен элемент <planSQL> и свойство "planSQLText" для событий исполнения операторов SQL различных СУБД."

см. Версия 8.2.14
8. krolya 287 21.01.14 23:54 Сейчас в теме
(6) headMade,

Спасибо за информацию, как говорится "Век живи, век учись" (с).

Упустил я видимо этот момент. Но если я правильно понимаю там ПВЗ в виде текста, а визуализировать его хз как, да и найти в дебрях ТЖ нужный нам запрос, тоже занятие не из приятных я думаю. Парсеров не так много и я не уверен, что парсеры отрабатывают свойство planSQLText.

И кстати там ПВЗ с расширенной аналитикой по таблицам? (т.е. количество строк, предикаты, вес и т.д.)?
9. headMade 140 22.01.14 00:28 Сейчас в теме
(8) krolya,

для MSQL в ТЖ пишет Rows, Executes, EstimateRows, EstimateIO, EstimateCPU, AvgRowSize, TotalSubtreeCost, EstimateExecutions, StmtText.

Для визуализации обратите внимание на Инструменты разработчика вот пример трассировки запроса
(также не забываем про сервисы Гилева)

Ну а что касается вашей ситуации (нашли замером производительности долгий запрос), то как мне кажется profiler тут подходит как ничто другое.
10. tormozit 5621 22.01.14 00:35 Сейчас в теме
(9) Да, в ИР есть неплохая иллюстрация того, что дает собирать техножурнал по выполняемым запросам в определенной мере независимо от СУБД. План запроса естественно СУБД специфичен. В видео показан анализ плана запроса СУБД MS SQL.
5. krolya 287 21.01.14 23:30 Сейчас в теме
(1) awk,

По ТЖ можно найти самый долгий запрос. В нашем случае - это будет последний запрос (где соединяется несколько раз таблица на 2 млн. строк), но проблема то не в нем, а запросе, который эти 2 млн. строк формирует, а он то как раз выполняется гораздо быстрее чем последний :), а запрос в котором на самом деле была ошибка, вообще за 2 секунды выполняется. И как здесь поможет ТЖ? :) Или я чего-то не знаю про возможности ТЖ
2. Armando 1391 21.01.14 22:44 Сейчас в теме
7. krolya 287 21.01.14 23:51 Сейчас в теме
(2) Armando,

Не за что, рад что пригодился.
11. asved.ru 36 22.01.14 03:03 Сейчас в теме
Попробуйте ЦУП и забудьте ручное ковыряние в трассировке и сопоставление с текстами запросов/метаданными как страшный сон.
Gilev.Vyacheslav; +1 Ответить
12. Gilev.Vyacheslav 1839 22.01.14 06:45 Сейчас в теме
я так и не понял, а зачем все это надо было делать, есть же бесплатные сервисы http://www.gilev.ru/online/
зачем изобретать велосипед?
18. awk 692 22.01.14 10:30 Сейчас в теме
(12) Gilev.Vyacheslav, Не отовсюду к ним достучатся можно. Одно слово - online. :) Вот и приходится по старинке.
20. Gilev.Vyacheslav 1839 22.01.14 10:47 Сейчас в теме
(18) awk, а ЦУП использовать который не онлайн что мешает?
и потом, что значит "онлайн" - у вас нет интернета? не верю! разверните подробней
25. Evgen.Ponomarenko 544 22.01.14 11:46 Сейчас в теме
(20) Gilev.Vyacheslav,
Вячеслав, если бы не данная статья с ссылками на ваши работы, раскатал бы вас здесь и сейчас за неуместную рекламу своего велосипеда пусть даже с хорошим моторчиком (рука так и тянулась к минусу)
Берите пример с tormozit - мягко и не навязчиво продвигается на пользу себе и людям )))
28. Gilev.Vyacheslav 1839 22.01.14 11:53 Сейчас в теме
(25) Evgen.Ponomarenko, ни от вас и ни от автора не услышал, зачем нужен профайлер при наличии огромного выбора альтернатив, и не только моих инструментов - кроме как простыми путями не идем

любой уважающий себя программист может легко руками настроить logfcg.xml и в течении пары минут посмотреть план запроса в логах ТЖ, не обманывайте себя и других
38. krolya 287 22.01.14 14:57 Сейчас в теме
(28) Gilev.Vyacheslav,

любой уважающий себя программист может легко руками настроить logfcg.xml и в течении пары минут посмотреть план запроса в логах ТЖ, не обманывайте себя и других


Любой уважающий себя программист волен быть свободен в выборе инструментов для достижения целей и я не вижу чем вариант получения плана выполнения запроса через SQL Profiler принципиально отличается от получения плана выполнения запроса через ТЖ.

Ну и любой уважающий себя программист может легко подключиться к SQL Profiler'у и посмотреть план запроса в трейсе - не обманывайте других!

Только ПОСМОТРЕТЬ план запроса в логах ТЖ, это еще не решение задачи - нужно ПОСМОТРЕТЬ план выполнения НУЖНОГО ЗАПРОСА (просто посмотреть план выполнения первого попавшегося запроса я думаю смогу секунд за 30, что называется кто быстрее :)))). А найти план выполнения нужного запроса из пары десятков в логах выполнения ТЖ мне почему-то кажется занимает дольше двух минут :)
49. awk 692 23.01.14 10:15 Сейчас в теме
(20) Gilev.Vyacheslav, ЦУП - це круто. Нет, ну правда. Хорошо когда есть деньги. Тогда не сильно задумываешься на тему: "А как дальше жить". Но у многих их нет. И живут же они как-то. Просто они немного больше думают (делают). Так и здесь. Хорошо когда заказчик купил КИП, да еще и на сервере терминальном открыл доступ в интернет. А вот когда не открыл и не купил? Да еще и ТЖ поднимает сам по служебке через неделю? После пары таких клиентов и бинарники становятся исходниками. Просто работа моя увеличивает время и стоимость. Наверное, КИП и ваш сервис будет дешевле (даже не наверное, а скорее всего). Но жадных - надо учить рублем.
36. krolya 287 22.01.14 12:27 Сейчас в теме
(12)Gilev.Vyacheslav,
(14)Gilev.Vyacheslav,


Вячеслав, добрый день. Отвечу один раз на все сообщения.

Когда я написал фразу: "использовать SQL Profiler для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах", то я в первую очередь имел ввиду не сам SQL Profiler, а именно план выполнения запроса. Если вы заметили, я в Выводах к статье прямым текстом написал, что есть консоль запросов 1С, которая умеет показывать план выполнения запроса и именно ее рекомендовал к использованию для получения плана выполнения более быстрым и удобным способом. Мне без разницы как получить план выполнения запроса, главное чтобы он был. Получу я его через SQL Profiler, консоль или Ваш сервис - мне все равно. Я использовал инструмент, который был под рукой. Он НЕ САМЫЙ УДОБНЫЙ, НЕ САМЫЙ ЛУЧШИЙ и вообще не самый-самый и я нигде в статье не говорил, что это единственный и самый удобный инструмент (очевидно, что это не так).

Целью статьи было показать логику и методику проведения оптимизации для очень больших запросов с использованием плана выполнения запроса на одном примере, а не сравнить все возможные средства получения плана выполнения запросов или рассмотреть все возможные методики проведения оптимизации.

Ну и повторюсь - самый долгий запрос в пакете запросов (не равно) неоптимальный или некорректный, причина его неоптимальности, часто лежит в других запросах.
41. Gilev.Vyacheslav 1839 22.01.14 16:34 Сейчас в теме
(36) , (37) , (38) , (39) krolya, Алексей, по существу статьи - можно было откинуть про инструментарий и написать :
берем жирный запрос, смотрим на левую и правую части соединения,
смотрим на скорость правой части, смотрим на скорость левой части, смотрим на скорость "обоих частей вместе" - далее смотрим кто из них самый явно долгий,
далее "проваливаемся вглубь" этого долгого и повторяем итерацию

таким образом какой бы не был огромный запрос, не обязательно мегасхемы рисовать, можно автоматизированно локализовать узкое место,
я не прав?

ценное зерно (не ходившим на 1С:эксперта) в статье про нехватку отборов при перемножении - не буду придираться

у меня ваша заметка вызвала такую реакцию потому что напоминает софтпоинтовое "много воды и чуть-чуть полезного"
вообщем вцелом не обращайте на мое ворчание внимание, ваша статья найдет своего благодарного читателя, профайлером тоже надо уметь пользоваться
AlexeyFreeLife; unoDosTres; Samosval; Восьмой; teflon; DLysikov; pbazeliuk; allegrosoft; barelpro; Evgen.Ponomarenko; krolya; +11 Ответить
42. krolya 287 22.01.14 16:42 Сейчас в теме
(41) Gilev.Vyacheslav,

Алексей, по существу статьи - можно было откинуть про инструментарий и написать :
берем жирный запрос, смотрим на левую и правую части соединения,
смотрим на скорость правой части, смотрим на скорость левой части, смотрим на скорость "обоих частей вместе" - далее смотрим кто из них самый явно долгий,
далее "проваливаемся вглубь" этого долгого и повторяем итерацию


Вячеслав, согласен, но тогда это будет не та статья, которую я задумывал :), т.к. я хотел показать весь путь оптимизации одного запроса от начала и до конца. Если в статье доносить только главную мысль "без воды", то она не будет воспринята (хотя возможно я не прав в этом).

вообщем вцелом не обращайте на мое ворчание внимание, ваша статья найдет своего благодарного читателя, профайлером тоже надо уметь пользоваться


ОК. Договорились :)
13. Confucius 81 22.01.14 06:52 Сейчас в теме
Довольно не тривиальный путь поиска ошибок...это как для диагностики не исправности у авто самому спаять плату для диагностики... есть же велосипеды уже.
Gilev.Vyacheslav; +1 Ответить
30. Evgen.Ponomarenko 544 22.01.14 11:54 Сейчас в теме
(13) Confucius,
Довольно не тривиальный путь поиска ошибок...это как для диагностики не исправности у авто самому спаять плату для диагностики... есть же велосипеды уже.

Я тоже сначала так подумал... но из контекста статьи видно, что автор разбирался с чужим-чужим-чужим черным ящиком. Он использовал формальный подход и штатные средства - классика жанра, зачетно!
32. Gilev.Vyacheslav 1839 22.01.14 11:58 Сейчас в теме
(30) Evgen.Ponomarenko,
использовал формальный подход и штатные средства
штатные средства - это технологический журнал, хватит людей обманывать!
33. Evgen.Ponomarenko 544 22.01.14 12:01 Сейчас в теме
(32) Gilev.Vyacheslav,
Это с какой стороны посмотреть, с точки зрения ADB - штатное средство профайлер микрософта в данном случае.
34. Gilev.Vyacheslav 1839 22.01.14 12:03 Сейчас в теме
(33) Evgen.Ponomarenko, с точки зрения АДБ он не правит запросы в 1С
35. Evgen.Ponomarenko 544 22.01.14 12:15 Сейчас в теме
(34) Gilev.Vyacheslav,
Я 5 лет проработал в секторе администрирования БД. Мы постоянно мониторили производительность, вместе с программистами решали задачи оптимизации. Под Oracle в 2000 году были такие средства оптимизации, что 1С еще шагать и шагать. К примеру, можно было провести анализ нарушений 3-й нормальной формы. Автоматизация позволяла выгребать ошибки сторонних разработчиков тоннами. В данном случае в статье речь идет об альтернативе, которая имеет место быть. А чем больше возможностей - тем оптимальней решение.
14. Gilev.Vyacheslav 1839 22.01.14 06:56 Сейчас в теме
Вот план запроса в наших сервисах

нафига такой огород с профайлером?
Evil Beaver; +1 1 Ответить
45. German 871 22.01.14 19:58 Сейчас в теме
(14)(17) Раз уж все отметились, вот интерактивный!! план запросов в Ei

awa; JohnyDeath; krolya; lustin; tormozit; +5 Ответить
46. tormozit 5621 22.01.14 20:00 Сейчас в теме
(45) В чем его интерактивность? Он может выполнять по шагам операции плана? =)
asved.ru; +1 Ответить
48. German 871 22.01.14 20:09 Сейчас в теме
(46) пока при наведении расшифровка, при клике на таблице переход к индексам и структуре, на остальное пока особо фантазии не хватило :)

В общем там чистый HTML, можно хоть скачущего ПОНИ прилипить
15. DoctorRoza 22.01.14 08:12 Сейчас в теме
Ну вот, нормальная статья. Не всякие теоретические сопли скопипастенные из интернета, а реальный, боевой опыт!
Evgen.Ponomarenko; +1 1 Ответить
19. Gilev.Vyacheslav 1839 22.01.14 10:38 Сейчас в теме
(15) DoctorRoza, опыт - однозначно да
однако описание как работать профайлером на не 1с-ких форумах мульён!
сейчас новички вместо того чтобы сходить почитать документацию к 1С:ЦУП прочтут эту статью, решать что они теперь "НЕО" и знают "кунфу" и потом понесутся "гневные письма в 1С" про то что приходится бороться с мнимыми трудностями

по поводу консоли запросов с планом запроса - у нас она тоже есть, взял выполнил запрос и сразу увидел план не выходя из 1С

Не всякие теоретические сопли скопипастенные из интернета
при всем уважение - это не просто сопли, а извините достаточно "старые"

я вот так и не увидел

из SQL Profiler удобно использовать для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах

извините за прямоту...
21. JohnyDeath 295 22.01.14 11:12 Сейчас в теме
(19) Gilev.Vyacheslav,
сейчас новички вместо того чтобы сходить почитать документацию к 1С:ЦУП прочтут эту статью

а ЦУП использовать который не онлайн что мешает?

Озвучь, пожалуйста, ценник на ЦУП. Всё встанет на свои места. А профайлер или ИР есть здесь и сейчас (Сергею Седых за это огромное спасибо).
по поводу консоли запросов с планом запроса - у нас она тоже есть, взял выполнил запрос и сразу увидел план не выходя из 1С

Где можно посмотреть? Или она только для внутреннего использования?
23. Gilev.Vyacheslav 1839 22.01.14 11:19 Сейчас в теме
(21) JohnyDeath, вы красиво смешали ЦУП, которые накапливает статистику и ранжирует проблемы и консоль ИР - она на сколько я последний раз, ничего подобного не умела, я не прав, уже задублировала бесплатно ЦУП?
29. JohnyDeath 295 22.01.14 11:54 Сейчас в теме
(23) Gilev.Vyacheslav, Вы тоже красиво умолчали о стоимости. В данной конкретной проблеме ИРа бы хватило. Мы ведь обсуждаем то, почему автор не использовал ЦУП, верно?
(27) Спасибо, не знал. И нигде раньше этого не слышал. По-моему, я у вас давным-давно спрашивал про разрешение имен таблиц в имена таблиц 1С.
(26) Оно оказывается тоже платное. ( Посмотреть не получится. И она скорее всего идет в составе всей конфы. Верно?
31. Gilev.Vyacheslav 1839 22.01.14 11:57 Сейчас в теме
(29) JohnyDeath, о стоимости ЦУПа - любой разработчик может себе позволить НФР версию цупа (по памяти это тысяч десять рублей) имхо это не заоблачная стоимость и ее легко включить в общую стоимость проекта, в рамках которого оптимизируете запрос, если вы франч и делаете это для клиента, то цуп должен вообще купить клиент, для вас он будет бесплатен
ну и где здесь сложности?
26. Gilev.Vyacheslav 1839 22.01.14 11:46 Сейчас в теме
(21) JohnyDeath,
Где можно посмотреть? Или она только для внутреннего использования?
http://www.gilev.ru/querytj_plus/
JohnyDeath; +1 Ответить
39. krolya 287 22.01.14 15:02 Сейчас в теме
(19) Gilev.Vyacheslav,

я вот так и не увидел

...из SQL Profiler удобно использовать для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах...

извините за прямоту...


Извиняю, но Вячеслав, вы при цитировании опустили принципиальную часть моей фразы, которая искажает ее смысл.

План выполнения запросов MSSQL из SQL Profiler удобно использовать для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах и либо находить, либо сужать область поиска неоптимального или некорректного кода, особенно когда проводить рефакторинг кода запроса крайне затруднительно или невозможно.


Я могу с легкостью из нее убрать ссылку на SQL Profiler (она не потеряет смысла и останется верной), а суть ее сводится к тому, что план выполнения запросов МОЖЕТ(!) хорошо помочь в решении задачи оптимизации больших запросов. И повторюсь, что мне без разницы каким способом я получу нужный мне план выполнения запросов в следующий раз - будет ли это Profiler, ваш сервис или логи ТЖ.
16. StaticUnsafe 22.01.14 08:58 Сейчас в теме
17. tormozit 5621 22.01.14 09:31 Сейчас в теме
Вот скриншот плана запроса из инструмента "Анализ техножурнала" инструментов разработчика. Обратите внимание, здесь имена полей и таблиц уже переведены в термины метаданных (опция).
Прикрепленные файлы:
Восьмой; slavap; lustin; pumbaE; krolya; headMade; JohnyDeath; +7 Ответить
22. JohnyDeath 295 22.01.14 11:17 Сейчас в теме
По поводу плана запроса. Помимо ЦУПа, Онлайна Вячеслава и ИР Сергея есть еще Enterprise Integrator от Германа Кудякова. С недавних пор план запроса у него свой: с шахматами и барышнями http://main.1c-ei.ru/Home/help/profiler/view/planquery
У Вячеслава пока чуть хуже чем у Сергея - не определяются автоматом имена таблиц 1С, да и выглядит заметно хуже.
Кстати, а кто как определяет имена таблиц? Я сделал вьюхи на все таблицы и потом смотрю "зависимости" в интересуемой таблице вида "_InfoRg43"
27. Gilev.Vyacheslav 1839 22.01.14 11:49 Сейчас в теме
(22) JohnyDeath,
У Вячеслава пока чуть хуже чем у Сергея - не определяются автоматом имена таблиц 1С, да и выглядит заметно хуже.
показываются, если подключен сервис http://www.gilev.ru/sqlsize/
так сделано, потому что сервис Анализа запросов не авторизуется и не подключается к базе (т.е. максимально безопасный насколько это вообще в природе возможно)
Второй сервис выполняет ком-подключение к исследуемой базе и требует ввести логин пароль.
24. Evgen.Ponomarenko 544 22.01.14 11:44 Сейчас в теме
Ну, что сказать?! Точно в цель!!! И по теме и по содержимому. В деле SQL-тюнинга, визуальный план выполнения запросов - это наше все! Важно, что решение предполагает только штатные средства.
Ссылки на другие источники уместны и респектабельны ))) Так, что автору "Респект и уважуха!" (С).
Статья просится в золотой фонд Инфостарта. Знаю, что вернусь к ней еще не раз.

Для меня она, как точка входа на другие ресурсы (такая себе дверь в коморке Папы-карлы). Так, что... бросаю якорь в закладках )))
Прикрепленные файлы:
Tedman; krolya; DitriX; +3 Ответить
37. krolya 287 22.01.14 12:43 Сейчас в теме
Кстати, что интересно - вот в соседней статье Использование yEd для понимания картины запроса обсуждается проблема визуализации больших запросов на примере ЗУП 2.5 и там используются ну совсем не штатные средства :)
40. asved.ru 36 22.01.14 15:04 Сейчас в теме
// offtop

Enterprise Integrator от Германа Кудякова


Какой, простите, вырвиглазный сайт. Сделайте меня развидеть это!
43. lustin 22.01.14 18:15 Сейчас в теме
(0) перечитал спокойно, хотя хотел в пылу написать с утра.

Возникли следующие мысли:

1. Знать и уметь использовать профайлер вкупе с методом ПолучитьСтруктуруХранения() - НУЖНО
2. В реальной работе лучше использовать ИнструментыРазработчика, КонсольЗАпросов и КонсольКода с трассировками, не забываем про EnterpriseIntegrator от Германа.
3. APDEX и ЦУП знать нужно - но это инструментарий который вначале нужно внедрить, а только потом использовать.

Однако меня больше заинтересовало другое:


Решение – добавить новое условие в ВЫБОР КОГДА по новому виду показателя.


совместно с вот этим
Причина ошибки - в программу предыдущими разработчиками было добавлено новое значение перечисления показателя «ПоКадровымДаннымСотрудника», который заполняется по подразделению и должности и который не был описан в условии соединения.


Я правильно понял, что когда другой разработчик добавит новое значение показателя ПоКакимНибудьНовымДаннымСотрудникаИлиВЗависимостиОтФазыЛуны - проблема вновь возникнет ? И тогда придется повторно вспоминать данный кейс.

Если я все правильно понял, то это не решение - это HOTFIX.
Нужно избавится от конструкции ВЫБОР внутри условия соединения и тогда я думаю будет еще чуть быстрей за счет отказа от CASE подобных конструкций и в будущем не рухнет вновь.
teflon; krolya; awa; Odinas; awk; JohnyDeath; +6 Ответить
44. krolya 287 22.01.14 18:40 Сейчас в теме
(43) lustin,

Алексей, спасибо за комментарии.

Я правильно понял, что когда другой разработчик добавит новое значение показателя ПоКакимНибудьНовымДаннымСотрудникаИлиВЗависимостиОтФазыЛуны - проблема вновь возникнет ? И тогда придется повторно вспоминать данный кейс.


Правильно, но этого не будет - см. ниже :)

Предыдущие разработчики добавили новый вид перечисления, что я считаю некорректно, я практически уверен что задачу, которую они решали можно было реализовать либо используя типовые механизмы либо минимально корректируя существующие. По крайней мере не влезая в корректировку перечислений, так как в коде типовых ОЧЕНЬ ЧАСТО перечисления обрабатываются структурой ЕСЛИ ... ИНАЧЕ ЕСЛИ ... КОНЕЦЕСЛИ;. И изменение списка значений для перечисления приводит к масштабным изменениям по всему коду конфигурации.

Поэтому совсем правильным вариантом я считаю будет - провести рефакторинг изменений, которые привели к необходимости корректировки этого перечисления и оставить типовой код запроса :), но так я думаю никто сейчас делать не будет.

А чтобы избавиться от конструкции ВЫБОР, это нужно проводить рефакторинг кода этого запроса и корректировать типовую, что во-первых, накладно, а во-вторых соотношение полученного результата (ускорения) к стоимости его достижения мне кажется будет не в его пользу. Т.е. не стоит оно того имхо :)
JohnyDeath; lustin; +2 Ответить
47. lustin 22.01.14 20:07 Сейчас в теме
(44) ну значит я с Hotfix'ом угадал. А вот про типовую я забыл.

Скорее всего ты прав - необходимо посмотреть где им не хватило типовой и зачем и тогда рефакторить (причем может быть даже процессы а не конфигурацию).
50. Sorm 53 23.01.14 10:30 Сейчас в теме
А не смутило сразу, что TABLE SCAN используется? Может, стоило бы для начала помочь оптимизатору?
51. krolya 287 23.01.14 12:19 Сейчас в теме
(50) Sorm,

Я в первую очередь разбирался с ошибками, которые потенциально дешевле в устранении. Принцип Парето работает безотказно - 80% торможения можно устранить за 20% затрат. Мне в тот момент гораздо выгоднее было разобраться с 2 млн строк, чем устранять table scan :)
52. Sorm 53 23.01.14 12:47 Сейчас в теме
(51) krolya, Проиндексировать эту таблицу вместо анализа запроса(анализ, конечно, правильней, не спорю) не проще был сначала попробовать? Как бы это первое, что приходит в голову.
53. krolya 287 23.01.14 12:51 Сейчас в теме
(52) Sorm,

Сложно судить, но мне почему-то как раз пришло в голову именно с таблицей разобраться, чем пытаться помочь с TABLE SCAN'ом )

Интересно как другие думают? :)
54. Gilev.Vyacheslav 1839 23.01.14 13:23 Сейчас в теме
(52) Sorm, зачем ускорять "ненужную" работу, лучше ее минимизировать как (53)
55. Sorm 53 23.01.14 14:18 Сейчас в теме
(54) Gilev.Vyacheslav, согласен, но здесь вопрос во времени. Разобраться в запросе всяко дольше, чем индекс привинтить. А с учетом индекса, возможно, нагрузка на сервер станет непринципиальной. Ну, это только мое мнение. Просто часто разбираюсь с большими сложными SQL-процедурами, в которых "годичные" наслоения кода. Первый метод - все что можно выносится во временные таблицы, индексируется.. ну и т.д. Второй - сидеть разбираться в процедуре применительно к данным.
56. krolya 287 23.01.14 15:31 Сейчас в теме
(55) Sorm,

Первый метод: крайне трудоемок для громоздких запросов и не факт что приведет к нужным результатам.
Второй метод: анализ самих данных я не использовал на первом этапе "широкого" поиска, а только на более позднем, когда я сузил область поиска некорректного кода до 1-2 запросов.
57. Sorm 53 23.01.14 16:18 Сейчас в теме
(56) krolya, "Первый метод: крайне трудоемок для громоздких запросов" - собственно, почему? Уточню - я имею в виду хранимые процедуры и функции.
58. krolya 287 27.01.14 15:09 Сейчас в теме
(57) Sorm,

Долго придумывал какую аналогию привести, чтобы обосновать свое решение. Пришла в голову следующая идея:

по-большому счету любую операцию можно рассматривать как V=f(P,T), где V объем, т.е. количество выполненных операций за все время, P производительность, т.е. скорость выполнения этих операций в единицу времени) и T время затрачиваемое на работу, т.е. общее время выполнения операции. Предположим (для упрощения, но можно проверить и составить реальный график по реальным данным) график будет линейным (V=P*T).

Предположим, что у нас на начальном этапе скорость обработки данных - 100 единиц в единицу времени, а объем необходимый для производства равен 100 000 единиц (у нас цифры были другие 2 млн строк и 2 минуты), тогда время которое необходимо затратить, чтобы произвести (обработать) 100 000 единиц - 100 000 / 100 = 1000 единиц времени.

Двигаемся дальше - скорость оставляем НЕИЗМЕННОЙ, а значительным образом уменьшим количество записей до 1000, тогда время будет равно 10 единицам, а теперь подумаем во сколько раз нам нужно увеличить скорость выполнения операций при НАЧАЛЬНЫХ условиях объема 100 000 и заданном времени T=10, скорость выполнения операции должна стать 10 000, т.е. вырасти в 100 раз (математика первый класс :)))).

Ну, а в нашем случае, у нас было 2 млн. строк и я планировал его уменьшить до 2000 примерно, соответственно скорость выполнения нужно было увеличить в 1000 раз, чтобы получить сравнимый прирост :)

С моей точки зрения, я мог с высокой степенью гарантии уменьшить количество записей до 2000, но получить прирост в 1000 раз при добавлении индекса - я получил бы вряд ли.

P.S. Я проверю это на каком-нибудь SQL и выложу результаты. Самому интересно :)


59. krolya 287 28.01.14 15:44 Сейчас в теме
Здесь был комментарий :)
60. unoDosTres 20.06.14 10:59 Сейчас в теме
Автору спасибо за известную методу, но можно все проще сделать (я сейчас о конкретно в этой статье описанном случае), без всяких профайлеров, если знаешь текст проблемного запроса, берешь любую консоль запросов, либо допиливаешь, либо готовую с расчетом времени выполнения каждой ВТшки, и с вероятностью 90% самый долгий по выполнению Пакет и будет проблемным, и тут уже либо менять БизнесЛОгику запроса для оптимизации, либо чисто технически оптимизровать пакетник. для большинства пользователей, чтение планов запроса не даст полезной инфы, подумаешь table scan, подумаешь nested loops, и т .п.
61. unoDosTres 20.06.14 11:05 Сейчас в теме
(60) unoDosTres,
вдогонку к своему посту, скрин проблемного запроса из консоли запросов, и сразу видно что проблема в отмеченной Втшке, по-моему удобней и быстрей для описанного в теме случая, ну или хотя бы достойная альтенатива, конечно такого глубокого анализа как из плана запроса не получить, но узкое место сразу как на лодони
Прикрепленные файлы:
62. krolya 287 20.06.14 11:57 Сейчас в теме
(61) unoDosTres,

Да, разумная альтернатива и ее бы хватило для этого случая, по идее можно еще и количество строк смотреть - потому что у меня проблемный запрос не был самым долгим, но он влиял на другие. Так что анализ по количеству строк + время выполнения вполне себе пристойный инструмент для анализа запросов.

Ну и еще одна тонкость - иногда бывает достаточно сложно собрать все кусочки в единый запрос.
Оставьте свое сообщение

См. также

Полезные процедуры и функции для программиста 143

Статья Программист Нет файла v8 1cv8.cf Россия Бесплатно (free) Практика программирования Универсальные функции

Все мы пишем программный код и часто используем процедуры, облегчающие его написание. Ниже приведена выборка таких полезных процедур и функций.

07.10.2019    9570    HostHost    23       

Агрегатные функции СКД, о которых мало кто знает 343

Статья Программист Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования

Пользуетесь ли Вы всеми возможными агрегатными функциями, которые предоставляет система компоновки данных? Если Вы используете только: СУММА, КОЛИЧЕСТВО, МИНИМУМ, МАКСИМУМ, СРЕДНЕЕ, то эта статья для Вас.

05.09.2019    13774    ids79    44       

Три костыля. Сказ про фокусы в коде 123

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования Разработка

Три интересных (или странных) костыля в коде, которые могут помочь в повседневных и не очень задачах.

03.09.2019    9520    YPermitin    68       

Отслеживание выполнения фонового задания 142

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования Универсальные функции Разработка

Запуск фонового задания из модуля внешней обработки. Отслеживание выполнения задания в виде прогресса, расположенного на форме.

17.08.2019    11055    ids79    16       

Функции СКД: ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив 256

Статья Программист Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования

Подробное описание и использование внутренних функций системы компоновки данных: Вычислить, ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив, ВычислитьВыражениеСГруппировкойТаблицаЗначений.

08.08.2019    15121    ids79    30       

Фоновое выполнение кода в 1С - это просто 120

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования Разработка

Как легко запускать выполнение в фоне, не прибегая к долгому описанию фоновых процедур.

02.08.2019    11726    avalakh    21       

СКД - наборы данных и связи между ними, создание собственной иерархии, вложенные отчеты 133

Статья Программист Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования

Набор данных объект. Использование в схеме компоновки нескольких наборов данных. Различные варианты связи наборов: объединение, соединение. Использование иерархии в отчетах на СКД. Создание собственной иерархии, иерархия детальных записей. Использование вложенных схем в отчетах на СКД.

26.07.2019    13675    ids79    6       

СКД - использование расширений языка запросов, секция ХАРАКТЕРИСТИКИ 151

Статья Программист Нет файла v8 v8::СКД Бесплатно (free) Инструментарий разработчика Практика программирования

Автоматическое и не автоматическое заполнение полей компоновки данных. Использование расширений языка запросов для СКД «{…}», секция ВЫБРАТЬ, секция ГДЕ, параметры виртуальных таблиц. Автоматизированное использование дополнительных данных в запросе: секция ХАРАКТЕРИСТИКИ.

17.07.2019    11933    ids79    27       

Регистры сведений. За кулисами 129

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования Разработка

Небольшие заметки по внутреннему устройству регистров сведений.

09.07.2019    9310    YPermitin    12       

"Меньше копипаста!", или как Вася универсальную процедуру писал 183

Статья Программист Стажер Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования Разработка

Программист Вася разбирает подход создания универсальных методов на примере программного вывода СКД.

04.07.2019    8309    SeiOkami    49       

Создание отчетов с помощью СКД - основные понятия и элементы 210

Статья Программист Нет файла v8 v8::СКД Бесплатно (free) Практика программирования Математика и алгоритмы

Основные принципы работы СКД. Понятия схемы компоновки и макета компоновки. Описание основных элементов схемы компоновки: наборы данных, поля, вычисляемые поля, ресурсы, параметры.

25.06.2019    21763    ids79    17       

Многопоточное ускорение однопользовательских нагрузок в 1С + Microsoft SQL Server 2017 179

Статья Программист Нет файла v8 v8::Запросы Бесплатно (free) Практика программирования Разработка

Взаимодействие с Microsoft SQL Server нередко вызывает трудности у 1С-ников, а потому интересны любые моменты, связанные с его использованием. О своем опыте работы с новым SQL Server 2017 участникам конференции Infostart-2018 рассказал директор ООО «Аналитика софт» Дмитрий Дудин.

11.06.2019    12959    dmurk    134       

Регистры накопления. Структура хранения в базе данных 176

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования Разработка

Структура хранения регистров накопления в базе данных для платформы 1С:Предприятие 8.x. Первая часть в серии публикаций.

16.05.2019    19602    YPermitin    27       

Выполнение внешней обработки в фоновом задании 149

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования Разработка

Подробное описание подхода к созданию длительной операции на основе внешней обработки. Реализация протестирована на 1С 8.3.12.1714 (x64).

11.05.2019    11669    Eret1k    23       

Выгрузка документа по условию 5

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования Разработка

Что делать, если документы нужно выгружать не все подряд, а по какому-то фильтру: статусу, дате, набору условий... А что если он соответствовал этим условиям, а потом перестал? А если потом опять начал? Такие ситуации заставили попотеть не одного программиста.

25.04.2019    6441    m-rv    2       

Как прикрутить ГУИД к регистру сведений 23

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования Перенос данных из 1C8 в 1C8 Разработка

... и немного теории обмена данными. В частности, разберем боль всех, кто пишет небанальные обмены данными: как набору записей регистра сведений назначить гуид и далее использовать его в обмене для идентификации этого набора.

16.04.2019    9083    m-rv    16       

О расширениях замолвите слово... 194

Статья Программист Стажер Нет файла v8 Бесплатно (free) Практика программирования Разработка

О чём стоит задуматься при принятии решения о создании расширения конфигурации…

07.04.2019    18107    ellavs    125       

Git-репозитории для 1С-кода (опыт использования при небольших проектах) 202

Статья Программист Стажер Нет файла v8 Windows Бесплатно (free) Практика программирования Разработка

Инструкции по взаимодействию с Git-репозиторием, которые писались для тех наших программистов, которые вообще никогда не работали с Git (руководства в духе "Как получить код из git-репозитория?", "Как отправить код в git-репозиторий")...

28.03.2019    14242    ellavs    83       

Трюки с внешними источниками данных 166

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования Разработка

Некоторые трюки для преодоления ограничений внешних источников данных.

14.03.2019    14745    YPermitin    52       

Возможности типовых шаблонов ограничения доступа на уровне записей (RLS) 167

Статья Программист Нет файла v8 v8::Права Бесплатно (free) Практика программирования БСП (Библиотека стандартных подсистем) Роли и права

Краткий обзор применения типовых шаблонов ограничения доступа на уровне записей в конфигурациях, созданных на базе БСП: #ПоЗначениям, #ПоНаборамЗначений, #ПоЗначениямРасширенный, #ПоЗначениямИНаборамРасширенный

03.02.2019    17834    ids79    9       

EnterpriseData – часть 2. Процесс выгрузки данных 127

Статья Программист Нет файла v8 v8::УФ Россия Бесплатно (free) Практика программирования Обмен через XML

Основные этапы выгрузки данных через ED, обработчики событий выгрузки, правила обработки данных, правила конвертации объектов, конвертация свойств первого и второго этапов, процедуры БСП, используемые при выгрузке данных, структура «КомпонентыОбмена».

26.12.2018    14139    ids79    27       

Новый подход к обмену данными EnterpriseData 207

Статья Программист Нет файла v8 v8::УФ Россия Бесплатно (free) Практика программирования Обмен через XML

Хочу предложить Вашему вниманию цикл статей, посвященных обмену данными через универсальный формат (EnterpriseData или ED).

14.12.2018    23588    ids79    72       

EnterpriseData - пример доработки правил конвертации без использования КД 3.0 в расширении конфигурации 119

Статья Программист Нет файла v8 v8::УФ БП3.0 УТ11 Россия Windows Бесплатно (free) Практика программирования Обмен через XML

В статье подробно описан реальный пример доработки обмена данными через EnterpriseData (универсальный формат обмена) между конфигурациями УТ 11.4 и Бухгалтерия 3.0

16.11.2018    20752    ids79    20       

Программное заполнение пользовательских параметров и отборов СКД 136

Статья Программист Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования

Публикация представляет из себя краткие примеры того, как можно заполнять параметры СКД программно так, чтобы все параметры и отборы были доступны в быстрых настройках и в обычных (типовых) настройках параметров и отборов СКД.

13.11.2018    22713    Unk92    19       

Автоматические и управляемые блокировки применительно к типовым конфигурациям 1С 127

Статья Программист Нет файла v8 v8::blocking 1cv8.cf Бесплатно (free) Математика и алгоритмы Практика программирования

Основные принципы работы с режимами автоматических и управляемых блокировок в 1С Предприятие 8. Теория и применение в типовых конфигурациях: БП, УТ, ЕРП

10.11.2018    22593    ids79    40       

Вспомогательные инструкции в коде 1С 106

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования

Помогаем редактору кода 1С помогать нам писать и анализировать код.

15.10.2018    21747    tormozit    100       

Произвольный код в фоновом режиме 166

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования

Задача: реализовать выполнение произвольного кода в фоновом режиме без изменения конфигурации, т.е. во внешней обработке.

03.09.2018    16046    nikita0832    42       

Основные понятия и механизмы оптимизации клиент-серверного взаимодействия в 1C 147

Статья Программист Нет файла v8 Россия Бесплатно (free) Математика и алгоритмы Практика программирования

У многих начинающих 1С программистов часто возникают вопросы про клиент-серверное взаимодействие в 1С и чтобы разобраться в непростых механизмах платформы, необходимо понять, что же такое контекст, для чего предназначены директивы компиляции, что представляют собой контекстные/внеконтекстные вызовы и как наиболее оптимально описывать прикладные задачи в модулях управляемых форм.

23.08.2018    23316    Rain88    42       

Повышаем эффективность разработки правил обмена 125

Статья Программист Нет файла v8 КД ОС Бесплатно (free) Практика программирования Перенос данных из 1C8 в 1C8

Как повысить скорость и качество разработки правил обмена? Как вести групповую разработку правил обмена? Как облегчить сопровождение правил обмена после передачи в эксплуатацию? Об этом и многом другом вы можете узнать из этой статьи.

25.06.2018    20521    olegtymko    47       

Введение в механизм представлений в ЗУП ред. 3 157

Статья Программист Нет файла v8 v8::СПР ЗУП3.x Бесплатно (free) Практика программирования

В нашей организации на первом же телефонном собеседовании на должность разработчика по ЗУП ред. 3 вас обязательно спросят о том, что такое "Представления".

04.06.2018    25927    xrrg    82       

Как сделать запрос на изменение данных 75

Статья Программист Нет файла v8 v8::Запросы 1cv8.cf Бесплатно (free) Практика программирования

В статье приведены особенности внутренней архитектуры и примеры работы с расширением языка запросов 1С.

01.06.2018    22461    m-rv    21       

Строим графы средствами 1С (без GraphViz) 43

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования

Множество статей на Инфостарте описывают, как работать с компонентой GraphViz, чтобы построить ориентированный граф. Но практически нет материалов, как работать с такими графами средствами 1С. Сегодня я расскажу, как красиво строить графы с минимальным пересечением. Нам этот метод пригодился для отрисовки алгоритмов в БИТ.Финансе, т.к. типовой механизм не устраивал. Еще это может быть полезно для визуализации различных зависимостей: расчета себестоимости, графы аффилированности компаний и т.д. Надеюсь, эта статья поможет сделать мир 1С красивее и гармоничней:) Итак, поехали...

23.05.2018    18224    slozhenikin_com    19       

Распределение расходов пропорционально продажам 9

Статья Программист Пользователь Нет файла v8 v8::ОУ УТ10 УУ Финансовый учет и бюджетирование (FRP) Учет доходов и расходов Бесплатно (free) Практика программирования

Финансовая модель. Распределение административных расходов по подразделениям пропорционально продажам за месяц. Дополнительные реквизиты против бизнес-процессов!

13.05.2018    12253    Rustig    9       

Просмотр временных таблиц запроса в отладчике без изменения кода 130

Статья Программист Нет файла v8 v8::Запросы 1cv8.cf Бесплатно (free) Практика программирования

Данный способ можно использовать для просмотра содержимого временных таблиц запросов (менеджеров временных таблиц) без внесения изменений в код.

24.04.2018    27026    avfed@rambler.ru    19       

Минимализмы 3 356

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования Универсальные функции

Очередная серия "минимализмов" [http://infostart.ru/public/306536/, https://infostart.ru/public/460935/]. Также, как и в предыдущих статьях, здесь приведена подборка коротких оригинальных авторских решений некоторых задач. Ранее эти решения были разбросаны по моим комментариям к чужим публикациям.

19.02.2018    37507    ildarovich    44       

Этюды по программированию. Взаимодействие с Microsoft Word 109

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования

Часто приходится заниматься созданием сложных документов Word с таблицами, вложенными фрагментами, хитрым оформлением и прочими радостями жизни. Это - попытка как-то структурировать полученный опыт, чтобы не приходилось перерывать ворох старых обработок в поисках крупиц истины. Надеюсь, эта статья будет полезна и Вам.

11.12.2017    26789    milkers    23       

Метод формирования движений в типовых регистрах нетиповыми регистраторами 31

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования

Вариант решения задач с проведением по типовым регистрам нетиповыми регистраторами. Зачем - чтобы при сравнении конфигурации не обращать внимание на свойства регистров и исключить вероятность допущения горькой оплошности при обновлении информационных баз, заменив типы регистраторов основной конфигурации типами конфигурации поставщика. Для программных продуктов, имеющих в своем составе метаданных документ "Корректировка регистров"("Корректировка записей регистров").

05.12.2017    22179    itriot11    34       

1С: Конвертация данных 3. Инструкции и примеры. EnterpriseData (универсальный формат обмена) 738

Статья Программист Нет файла v8 КД Бесплатно (free) Перенос данных из 1C8 в 1C8 Практика программирования Обмен через XML

Что такое КД3? Как начать использовать? Полезные дополнения к документации. Что нужно исправить в типовых обработках и конфигурации. Как изменить правила обмена не снимая конфигурацию с поддержки. Как отлаживать правила обмена?

19.11.2017    143862    MaxS    251       

Заполнение данных по ИНН контрагента с помощью альтернативного сервиса огрн.онлайн 131

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования

Код для заполнения данных по ИНН контрагента из ЕГРЮЛ с сайта огрн.онлайн.

01.11.2017    24041    slava_1c    49       

Программные перечисления, ч.2: приемы кэширования при разработке 67

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования

Все знают, что такое кэш, и зачем он нужен. Но в 1С разработчик обычно использует кэширование только на уровне конфигурации, а в какой-нибудь обработке скорее ломает голову над запросом - как получить все данные за один заход... Хочется рассказать о том, как можно добиться хороших результатов с стратегией "разделяй и властвуй".

30.10.2017    22329    unichkin    18       

Разбираемся с настройками компоновки данных 161

Статья Программист Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования

Краткая шпаргалка по программной работе с настройками СКД

29.10.2017    25464    json    9