Power Query Веб-запросы №12. Получить ссылки с веб-страницы (Извлечь все URL, Html.Table)

preview_player
Показать описание
Получить URL с веб-страницы. Сделать запрос к каждому URL, получить таблицы и объединить их всех по вертикали.

Рекомендации по теме
Комментарии
Автор

Спасибо за видео! Я эту задачку решил по-другому.
1. Создал список списков: ({{2002..2022}, {1..12}} - годы с 2002 по 2022 и все номера месяцев в году;
2. Преобразовал в таблицу, транспонировал таблицу - Table.Transpose(Table.FromList({{2002..2022}, {1..12}}, Splitter.SplitByNothing()))
3. Развернул сначала первый столбец с годами, затем столбец с номерами месяцев, получил пары: год - номер месяца
4. Конкатенировал с гл. страницей сайта, учёл тот момент, что к однозначному номеру месяца нужно добавить нолик;
5. Добавил столбец с формулой - = "table is-narrow"]}[Data], где [Ссылка] - столбец с УРЛами из 4-го шага
Тут важный момент! Так как при обращении к конкретной странице в этой формуле адрес страницы указывается в кавычках, то и я первоначально заключил столбец с УРЛами в кавычки:
= "table is-narrow"]}[Data], но выдавало ошибку. После того как кавычки убрал - всё заработало.
6. Далее удалил в новом столбце все строки с ошибками, ошибки возникали по УРЛам, по которым не было данных на сайте, например: /2002-01, /2002-02 и т.д.

uiwumml
Автор

Добрый день, подскажите как сделать. есть список сайтов. нужно сделать запрос по каждому адресу с поиском e-mail на главной странице сайта

ckbiemb
Автор

Для меня весьма познавательны ваши видео. то чувство когда можно писать комментарий до просмотра видео. Хотел бы еще уточнить есть ли возможность ставить паузы между запросами на сайт дабы не нагружать его

DS-wgnc
Автор

Есть более 4000 URL, надо получить их заголовки.
Делаю

Получаю таблицу и из неё вытаскиваю заголовок.
И подобное вешает компьютер.
Но хочется чтобы в запросе сразу вытаскивало из title

Количество URL будет расти

poorerniy
Автор

Спасибо за видео! Я эту задачку решил по-другому.
1. Создал список списков: ({{2002..2022}, {1..12}} - годы с 2002 по 2022 и все номера месяцев в году;
2. Преобразовал в таблицу, транспонировал таблицу - Table.Transpose(Table.FromList({{2002..2022}, {1..12}}, Splitter.SplitByNothing()))
3. Развернул сначала первый столбец с годами, затем столбец с номерами месяцев, получил пары: год - номер месяца
4. Конкатенировал с гл. страницей сайта, учёл тот момент, что к однозначному номеру месяца нужно добавить нолик;
5. Добавил столбец с формулой - = "table is-narrow"]}[Data], где [Ссылка] - столбец с УРЛами из 4-го шага
Тут важный момент! Так как при обращении к конкретной странице в этой формуле адрес страницы указывается в кавычках, то и я первоначально заключил столбец с УРЛами в кавычки:
= "table is-narrow"]}[Data], но выдавало ошибку. После того как кавычки убрал - всё заработало.
6. Далее удалил в новом столбце все строки с ошибками, ошибки возникали по УРЛам, по которым не было данных на сайте, например: /2002-01, /2002-02 и т.д.

uiwumml