Получение данных по API в Power Query для Power BI и Excel. Часть 1

Как начать работать с API в Power Query. Подробно о функции Web.Contents. Для широкого круга пользователей Power BI и Excel.

Подробно про REST: клиенты и серверы. Как они используют HTTP-сообщения, чтобы обмениваться информацией. Структура URL и HTTP-сообщений. Методы запросов GET и POST, как их отправлять с помощью Power Query. Заголовки запросов и ответов, типы данных, их распаковка и упаковка. Статусы ответа сервера и обработка серверных ошибок в Power Query.

Рассказываю на примере API Яндекс Диска с советами для других API. Чтобы его попробовать самостоятельно, достаточно зарегистрировать почту на Яндекс, поэтому порог вхождения очень низкий. Советую пробовать своими руками, потому что лучше один раз сделать, чем 100 раз увидеть.

Таймкоды:
0:00 О чем видео
0:27 аналогия из сферы услуг
5:11 чем API похож на банк
12:18 запросы и ответы
13:35 что должно быть в запросе
15:00 идентификатор ресурса URI
15:38 синтаксис URL
24:20 Fiddler для анализа трафика
27:59 настройка правил фильтрации трафика
29:30 просмотр сообщений (запроса и ответа)
30:32 из чего состоят HTTP-сообщения
33:08 понятие методов HTTP
34:07 метод GET
41:33 метод POST
44:20 заголовки HTTP
45:57 самые частые заголовки
49:49 Content-Type и MIME-type
52:00 JSON
56:00 получение JSON в Power Query
1:00:34 семейство CSV
1:02:40 что искать в документации по API
1:04:58 Headers - заголовки в Web.Contents
1:13:10 RelativePath - переменный "хвост" URL
1:15:30 Query - GET-параметры
1:23:53 как переключить Web.Contents на метод POST
1:24:50 упаковка тела запроса в зависимости от MIME-type
1:27:01 пример POST-запроса в Power Query
1:33:52 распаковка тела ответа
1:37:42 статусы ответа
1:42:40 ManualStatusHandling - подавление ошибок
1:46:00 просмотр заголовков и статусов ответа
1:50:20 обработка ответа в зависимости от статуса
1:54:40 когда API возвращает ошибку
1:57:00 Power Query дублирует запросы
2:00:12 буферизация ответа
2:02:52 сначала буфер, потом статус
2:09:05 пример извлечения таблицы из JSON
2:12:34 резюме по Options в Web.Contents
2:15:02 что ещё не обсудили

[IliahNazarov]

0:27 аналогия из сферы услуг
5:11 чем API похож на банк
12:18 запросы и ответы
13:35 что должно быть в запросе
15:00 идентификатор ресурса URI
15:38 синтаксис URL
24:20 Fiddler для анализа трафика
27:59 настройка правил фильтрации трафика
29:30 просмотр сообщений (запроса и ответа)
30:32 из чего состоят HTTP-сообщения
33:08 понятие методов HTTP
34:07 метод GET
41:33 метод POST
44:20 заголовки HTTP
45:57 самые частые заголовки
49:49 Content-Type и MIME-type
52:00 JSON
56:00 получение JSON в Power Query
1:00:34 семейство CSV
1:02:40 что искать в документации по API
1:04:58 Headers - заголовки в Web.Contents
1:13:10 RelativePath - переменный "хвост" URL
1:15:30 Query - GET-параметры
1:23:53 как переключить Web.Contents на метод POST
1:24:50 упаковка тела запроса в зависимости от MIME-type
1:27:01 пример POST-запроса в Power Query
1:33:52 распаковка тела ответа
1:37:42 статусы ответа
1:42:40 ManualStatusHandling - подавление ошибок
1:46:00 просмотр заголовков и статусов ответа
1:50:20 обработка ответа в зависимости от статуса
1:54:40 когда API возвращает ошибку
1:57:00 Power Query дублирует запросы
2:00:12 буферизация ответа
2:02:52 сначала буфер, потом статус
2:09:05 пример извлечения таблицы из JSON
2:12:34 резюме по Options в Web.Contents
2:15:02 что ещё не обсудили

[dncdncdncdnc]

Илья, после этого видео моя жизнь разделилась на две эпохи: до и после.
Спасибо Вам! огромное спасибо! просто чудовищных размеров спасибо!
Очень жду продолжение.

[Bi-djiy]

Ничего не понял но спасибо. Что нравится в авторе иная подача материала чем везде что позволяет более полно изучать интересующие темы. Ещё раз спасибо за проделанную работу.

[МихаилАдаев-жф]

Огромное спасибо! Очень подробно и обстоятельно объясняете. Большинство компаний требует от BI-аналитика умение работать с API. Ваше видео дает очень конкретное представление об этом, отдельное спасибо за таймкоды!

[avg]

Очень редкий по познавательности материал.
Большое спасибо!

[AntonSolomonov]

Илья, спасибо! очень ценный и редкий материал !!!

[ДмитрийЖулимов]

Илья, огромное спасибо! Отличный структурированный материал, ваши видео мое окно в мир API. Еще подскажите какой аналог Fiddler можете посоветовать ( не дает скопировать - нет выбора страны РФ).

[ОлесяКузовлева-до]

Илья, спасибо огромное. Подскажите можно ли через функцию power query добраться до содержимого конкретных таблиц datasets?

[SensualSuare]

Получается то, что Вы сделали это не коннектор, а просто как запрос? И если таким образом подключаться к источникам данных, то пользователю придётся каждый раз эти запросы корректировать? А таким образом можно подключаться к любому источнику данных, у которого есть API?

[alexazchan]

На моменте "В видео этом не показано, что во время первого подключения по внешней ссылке в Power Query появится окно с авторизацией. В нем ничего менять не нужно, оставляйте анонимное подключение (Anonymous) и нажимайте кнопку Connect." у меня происходит ошибка "не удалось пройти проверку подлинности с указанными учетными данными. Повторите попытку". Хотя я еще не успел никаких учетных данных ввести. Повис на самом первом шаге в Power Query. Как эту проблему решить?

[izabella_ti]

Доброго времени суток! Подскажите, пожалуйста, есть ли какой-нибудь вариант поставить автообновление для api_key (iiko), чтобы не менять его каждые 15 минут