Как увеличить скорость работы в Power Query (в редакторе запросов Power BI и Excel)?

Рубрика: #biprosto_ПолезныеСоветы

-----
Как увеличить скорость работы в Power Query (в редакторе запросов Power BI и Excel)?

Если Вы загружаете большие документы в Power BI или Excel через редактор запросов Power Query и далее в нем обрабатываете эти запросы (чистите таблицы, что-то удаляете, объединяете.. ну и т.д.), то в процессе этой работы, если исходные документы очень большие, редактор запросов Power Query может подтормаживать и долго обрабатывать все действия (особенно, если у Вас ПК не особо мощный).

Решением этой проблемы будет временное ограничение строк исходной таблицы (например, из 1000000 строк оставить только 100).

Для этого, в Power Query зайдите в нужный Вам запрос, для которого необходимо временно ограничить строки, далее нажмите правой клавишей мышки в верхнем левом углу основной рабочей области на значек таблички с маленьким треугольничком (где пересекается срока названий столбцов и первый левый столбец с порядковыми номерами строк) и в контекстном меню выберите пункт "Сохранить верхние строки".

Перед Вами откроется окно, в котором нужно ввести количество строк. Пропишите там какое-то количество, например, 100 и нажмете "OK".

Все, исходная таблица в Power Query будет преобразована из таблицы с 1000000 строк в таблицу со 100 строками и тогда Power Query заработает шустро.

После этого, в Power Query Вы можете производить любые операции с этим запросом. Как только Вы завершите всю обработку запроса, справа в меню "Параметры запроса" просто удалите из истории шаг "Сохраненные первые строки", тогда в исходную таблицу вернется все ее изначальное количество строк.

Этим простым действием, Вы облегчите и убыстрите свою работу с обработкой в Power Query больших документов и как следствие, сэкономите много времени, сил и энергии.

#power_bi #power_query #powerbi #powerquery #редактор_запросов #excel

[CJIABKO]

Не устаю благодарить автора за каждое видео которое появляется на канале. Считаю что без Power Query изучать DAX сложно. Прошу больше видео по этой теме, особенно объединение и слияние запросов. Сталкиваюсь с этим каждый день, и порой обновления занимает до 30 минут. Спасибо!!!

[nikolaynikolayevich]

Ограничили до 100 строк, всё супер, а потом запрос сломался. А всё потому, что среди миллиона строк были некорректные значения, которые мы благополучно пропустили и никак их не обработали. Ожидал тут советы из серии, в каком формате должны быть данные, как кешировать результаты функции и тд, но никак не это.

[AlekseyNA]

Так pq не только долго считает 1 млн строк, он ещё каждый раз их Загружает! 😮

[ВадимКесарев-ки]

Здравствуйте! Решение интересное, но бесполезное. Подскажите, а как это применить при автоматическом запросе к папке с файлами, данные из которых подтянуты в базу данных. Вопрос к автоматизации, а не вручную через редактор обновляться.

[owl]

Думал, будут учить функции Table.Buffer...

[grufilm]

Вот будет у вас лог на 50 гигов после удаления шага всё сдохнет

[beldn]

Приведенный пример слишком простой. Когда есть миллион строк и требуются простые обработки все работает достаточно быстро.  

Я обрабатываю 3 файла. Они однотипные, в них не очень много строк может несколько сотен или тысяч, но очень много листов (в том числе пустых), много столбцов, много сложных формул с вложенными ЕСЛИ. Естественно все это лишнее и является в основном следствием криворукости и низкой квалификации тех, кто создавал эти файлы, но это исходники, с ними ничего делать нельзя. 

При обработке этих файлов нужно сначала их объединить, убрать лишнее (листы, строки, столбцы и т.п.), чтобы на выходе получить примерно 700 строк с 10 столбцами. В процессе обработки некоторые операции (даже простая фильтрация) занимают до 10 минут! Комп достаточно мощный. Пробовали даже работать на сервере в котором мощностей более чем, но результат вообще не изменился! Для себя сделал вывод, что PQ хорош только на сравнительно простых файлах и простых функциях.

[sergmarkby]

К сожалению не помогает. Даже с учетом ограничения, любое преобразование занимает 4-5 минут. Уже 72 часа потратил на тупое ожидание