Авито Автозагрузка: как качать миллионы фотографий в сутки / Евгений Толмачев (Авито)

Приглашаем на конференцию HighLoad++ 2024, которая пройдет 2 и 3 декабря в Москве!
--------
Профессиональная конференция разработчиков высоконагруженных систем Saint HighLoad++ 2023

Презентация и тезисы:

Авито Автозагрузка — продукт, через который каждый час проходят десятки миллионов объявлений. За сутки мы скачиваем миллионы фотографий с хостингов самого разного качества и стабильности.
...

[ins]

Мрак... Мир авито, в котором не придумали MQ брокер.

Я-то думал, там будут подходы к низкоуровневой оптимизации сетевого взаимодействия, к объединению и сортировке задач по сетевому отпечатку, про сайкл брейкеры...

А тут какой-то колхоз с семафорами

[ivangovnov]

Пук-среньк, мы не думали про кафку, не смотрели... интересная идея... надо подумать...

[DTorange]

Так и не понял зачем читать из очереди и сохранять в бд данные для загрузки
+ потом бд используется как очередь.

Почему нельзя использовать только очередь для загрузки/ретраев и тд? А бд как последний слой для сбора данных

[Leonidasful]

Это благодаря этой автозагрузке сотня фотографий одного и того же продавца?

[askk]

Странно, что Авито всё-еще работает))

[SlavaVy]

а рейт лимитер в виде liquid бакет неизвестен? в котором все О(1)
Почему не использовать подобие cdn? и хранить фотки просто в каком-то хранилище типа s3.

[loadmore]

На блок схеме выглядит сложнее чем на самом деле

[SlavaVy]

Разумно было бы сказать звенья, а не слои.

[ihelperone]

Слава Богу что хоть тут селектела нет, любой канал в черный список из-за этого дна

[NikKlay]

Автозагрузка в Авито самая дерьмовая которая может быть