Multiprocessing Python Pool. Полное видео по работе с Пуллами в Python

Рассматриваем все возможности технологии Pool в Python.

В данном видео мы рассмотрим принцип работы пуллов в модуле multiprocessing, который позволяет выполнять нужные нам задания полностью параллельно, тем самым это также ускоряет нашу программу. Мы рассмотрим все технологии, которые позволяет применять Pool, также рассмотрим callback'и, которые вызываются после выполнения функции, либо же выполнения всего задания.

Таймкоды:
00:00 - Рассматриваем Pool с вызовом map
3:33 - map_async с использованием callback
5:17 - apply_async, вызываем функции отдельно с callback после каждого вызова
6:25 - starmap, передаем несколько аргументов при вызове функции
7:45 - starmap_async, несколько аргументов с поддержкой callback

[zproger]

Стоит ли делать видео по Condition и Event в multiprocessing?

[bgs]

Спасибо! Больше ни у кого не нашел про метод pool

[Stas]

😀😀 Спасибо тебе огромное! starmap - это то что я искал несколько дней!!!! 6:25 тот случай когда нужно было передать 2 и более аргумента в функцию!!!

[pavel]

Как же ты крут, мужик! Спасибо огромное

[TheNikita]

Хорошо объясняешь материал и хорошее качество, респект)

[romancomit]

Жесть как быстро, не успевал останавливать, чтобы посмотреть и подумать) . Мне нужно запустить параллельно несколько одинаковых функций с разными аргументами и получить результаты. Вот, думаю как сделать. Спсибо, автор,

[topalek]

Отличный выдос. спасибо помог настроить парсер в многопоток. Можно, кстати, сделать видео, как парсить сайт (если надо много страниц спарсить) в мультипроцессе

[Crokus]

При использовании контекстного менеджера разве нужно применять p.close()?

[vz]

Почему так мало Лайков? Народ смотрит всякую ерунду, а полезную информацию не видит.
Автор, спасибо за труд!

[yakudzafan]

Спасибо за материал Помогло.
И вопросик возник, если не затруднит ответить: Callback нужен только для вывода или можно как-то передать результат выполнения функции callback в следующие фунцкии\переменные. Грубо говоря как сделать return из callback и принять его?

[Илья-бял]

Очень крутое видео! спасибо тебе большое за труд! НО смотря на это возникает вопрос, как сделать это все без конструкции 'if __name__ == '__main__':' ???

[mikkimouse]

Странно, у меня этот код вообще не заработал : ничего не печатает .

[gvadellupa]

А разве есть смысл делать количество процессов больше, чем количество ядер?

[Дизельэлектроника]

Подскажите пожалуйста, как сделать так чтобы команда ( например стоящая в начале программы и вне функции которую мы запускаем в многопроцессорном режиме не исполнялась в этом режиме ( то есть мне нужно что бы команда исполнилась в начале программы в обычном режиме а потом исполнилась в многопроцессорном режиме функция . Можете проверить дописав в начале программы команду print что она исполнится не один раз. Так же если с помощью команды while зациклить и вход и выход из много процессорного режима (соответственно используя каждый раз команды pool.close() и pool.join() ) то программа на каждом цикле все равно исполняет команду в многопроцессорном режиме которая не находится в функции то есть программа каждый раз как бы исполняется с начала.

[BadBoy-xbnx]

почему аргумент iterable, в который передается список (метод map), или список кортежей(метод starmap) озвучивается как итератор? Ведь передается список, а это итерируемый объект. Или я чего то не понял, буду благодарен за пояснения.

[mr.senmax]

При использовании контекстного менеджера использовать close и join не нужно.

[bandrjuxa]

Зачем делать руками pool.close, его разве нет в __exit__ контексного менеджера with у Pool ?

[РШИИсскуств]

Добрый день как избавиться от ошибки, при использование пула: AssertionError: daemonic processes are not allowed to have children

[SeliverstovMusic]

А есть способ отдельный процесс уже в работающий пул закинуть?

[danvolk]

4:25 что будет если не писать в конце p.close и p.join?