Почему нейросети в фотографии и видео изначально переоценили?

Давно мы не разговаривали на тему нейросетей в фотографии и видео, а между тем прошло почти 2 года спустя революции - начала генерации фотореалистичных изображений и почти полтора года с момента появления генеративной заливки в фотошопе. Всё, чего боялись фотографы так и не произошло. Почему? Решил поделиться мыслями на тему в этом ролике.

СОДЕРЖАНИЕ:
0:00 - Вступление
00:43 - Страх новых технологий
02:39 - Нейросети требуют времени и квалификации
05:23 - Нейросеть способна на абстрактные вещи
07:00 - О колоссальных ресурсах на генерацию
08:26 - Нейросетевая генерация не имеет эмоциональной связи
09:20 - Итоги


_________
Буду рад подписке, лайкам и отзывам. Обязательно жмите колокольчик, чтобы своевременно видеть обновления канала.
_________

#фотография #фотошоп #нейросети

[winni]

Все по классике: в годы золотой лихорадки разбогатели не золотоискатели, а те, кто продавал искателям счастья лопаты.

[ВячеславС-юз]

Нейросети повлияли на фотографию так, что больше в моде стало естественности. Потому что отретушированные портреты очень похожи на сгенерированные. Фотографу нужно отличаться от нейронки, поэтому максимум естественности нужно и максимум не стандартные идеи

[romani]

Раньше фотографы тоже смеялись над камерами в мобильных телефонах. А теперь приходится оправдываться, что фотоаппарат не снимет в плохих условиях, или ц человека должен быть вкус. И умалчивает, что 80% фото нужд обычного человека закрывается телефоном

[Feofan_Ivanov]

Александр, день добрый. Относительно больших размеров генерации, SD справляется на ура, только не стоит забывать, что изображение сперва генерируется в небольшом, "нативном", разрешении модели (SD 1.5 - 512*512px, SDXL - 1024*1024px) выбранной для генерации, а затем перегенерируется(апскейлится) в большое. Причём, вариантов апскейла не вообразимо много - одни чуть лучше, другие средненькие. Среди них есть как встроенные в SD, так и сторонние например, можно рассмотреть семейство апскейлеров фото и видео от Topaz.
Теперь про несуществующее платье. Генерация по наброску - этим занимается параллельно работающая нейросеть ControlNet(которая устанавливается как плагин к SD), либо генерация SD в режиме скетча.
В плане нехватки ресурсов не могу сказать ничего определённого т.к. работаю на видюхе 4090 с 24 вёдрами видеопамяти и 128 в системной оперативке.
Если будут вопросы по нейросетям и их месте в фотографии - пиши буду рад помочь. Успехов.🤝

[Igor-tip]

Окей не про фото. Но про видео. Записывал два дня лекции для "работницы инфобизнеса" - перед съёмкой проверил технику и микрофон, все в пределах нормы было. Не супер, но "на посте поправлю". Оказалось что в середине что-то случилось с микрофоном и там вышел брак. Громкое пердение и ни какими заглушенными частотами не исправить. Уже начал было посыпать голову пеплом, обещанием все переснять и вернуть 50% гонорара.

Но попробовал погуглил разные нейросетки для звука и у меня аж лицо вытянулось. Они спасают буквально неспасаемое. Адоб Подкаст делает из "так себе" - уровень студии (мне не подошел, зажевало буквы). Мне помог ai-caustics - мне кажется можно буквально опустить голову в унитаз, смывать, напевать картаво Шаляпина и он сделает так, будто Федор Михайлович сам лично в дорогой микрофон Макушина напевает.

Я аж перестал рефлексировать что у меня дерьмовый микрофон, ребята, пользуйтесь - это реально магия

[albertsayfutdinov]

Спасибо, Александр! Полностью разделяю Ваши мысли.

[Alexey_Tokarev]

Люди вообще склонны бросаться из одной крайности в другую. С нейросетями случилось то же самое. Сначала невиданный энтузиазм, а потом чуть ли не пренебрежение. Нейросеть, как и любой инструмент, для одних работ подходит, а для других, мягко выражаясь, не очень. Разумеется, она не сможет сгенерировать пейзаж, вызывающий ностальгические воспоминания, если не дать ей исходной фотографии. Результат практически всегда получается далеким от реальности.
А как с ФАНТАСТИКОЙ? В XX веке был весьма популярен жанр, который в СССР называли научной фантастикой. Писатели старались погрузить нас в несуществующие (пока?) миры, но иллюстраторы фантастических книг и создатели фантастических фильмов оказывались в очень трудном положении, пытаясь "визуализировать" замыслы авторов. Да, разумеется, читатели успели уже привыкнуть к классическим иллюстрациям (например, пережившим полтора века), но хочется иногда чего-то более, как ни странно, реалистичного именно в жанре фантастики.
Возможно, как раз нейросети смогли бы помочь самим авторам создавать в виде изображений то, что они придумывают и описывают. Более того, нейросети могли бы позволить авторам САМОСТОЯТЕЛЬНО без участия киногрупп и актеров экранизировать свои замыслы, совершенно не беспокоясь о сложностях комбинированных съемок, эффектов компьютерной графики и ограниченных возможностях живых каскадеров.
Так что, лично я жду нового расцвета жанра фантастики (желательно, если и не совсем "научной", то хотя бы не "антинаучной"...).

[Sergey]

Очень грамотная и поставленная речь.
Было приятно слушать, а главное Вы сказали правду.
Всё как есть.
Спасибо.

[ZoZZh]

По поводу удаления плаща из-под модели есть небольшой хак. Дело в том, что нейронка анализирует всю картинку, и вот этот плащ тоже её сбивает. Поэтому можно быстрее объяснить ей что делать если быстро тупым штампом на месте плаща набросать травы из других частей фото и заставить генерить заново. Она "поймёт", что нужна трава, но какая-то не такая, и соберёт.

[arc-deity]

То о чём ты говоришь это лишь проблема генеративной заливки в фотошопе. Если бы тоже самое фото редактировал в SD со всеми подключенными нужными плагинами то можно было вписать в промпт что нужно убрать и он бы быстро удалил, например ту самую одежду на траве без всяких выделений. Если нужна какая то конкретная одежда или задумка или пример для этого в SD есть "использовать изображение как подсказку" куда можно засунуть что угодно уже готовое. Допустим есть фото девушки где нужно поменять платье. Выделяем в inpain платье, добавляем найденное на просторах инета платье как подсказку и генерируем, всё... на девушке будет другое платье точно такое же как по подсказке. Лично знаю тех кто на маркетплейсе место того что бы модель сто раз переодевать используют фото одежды как подсказку и через нейронку одевают, результат почти точный как если бы эта одежда была на модели, просто место модели используют фото маникена, причем в отличии от фотошопа в SD можно засунуть позу и сгенерить модель в нужно позе.

Фотошоп не идеальное место где можно что то поредактировать + цензура, например нужно было поработать с нижним бельём на модели, фотошоп этого не давал ссылаясь на недопустимость изображения. в SD же ты ничем не ограничен редактируй, меняй....

Что касается занимаемых ресурсов при генерации той же SD то тоже не прав. Есть маленькие версии SD типа Stability Mаtrix которые и генерацию быстрее сделают и меньше ресурсов будут занимать но в них маленький функционал, генерация, Hiresfix и апскейл. Ну и семплер можно выбрать. Для новичка который хочет поюзать нейронку самое то что бы понять что это такое и сгенерить первое изображение локально. Для профи мало, даже Inpaint нет.

[ИванРаскумандрин-хс]

Спасибо, Александр! Очень полезный ролик

[makc]

Похожая история была в начале 2010-х годов, когда я начинал заниматься коммерческой фотографией, а операторы активно убеждали меня и коллег фотографов, что фотография-прошлый век, будущее за видео. Переквалифицируйся, пока не поздно. По итогу я всё так же занимаюсь фотографией, а работы хватает как фотографам, так и операторам

[photoshop.marinaulanova]

Никогда и не думала, что ИИ заменят фотографов, ретушеров..НО!!! к примеру мне в пост обработке фото изображений, ИИ помогают просто нереально! Время экономят в разы. И да, как помощники, они - супер!

[vadimus]

Зайдите в столичное метро, и увидете что живые кассы где сидели барышни и продавали билеты закрыты а сотрутники сокращены (уволены). Бездушные автоматы готовы круглостучно продавать электронные билеты. В определенной степени технологии потеснять обычного фотографа, но правы что появиться что то другое куда можно приложить силы и творчество.

[Berlioz]

Автор не прав. То что нейронки не коснулись фотографов это не значит, что это не коснулось других профессий. Крупные компании типа активижн близзард уволили кучу людей, в том числе и художников. Художников стало не хватать и по сути оставшихся заставили пользоваться нейронками. Нейронки уже ударили по концепт художникам и в меньшей степени по графическим дизайнерам. Ну фотографов ясное дело это не коснется, так свадьбы никто не отменял

[vladislavasahno]

Спасибо, Александр, за ваши мысли. Очень интересно послушать ваше мнение как профессионала

[xXxLLIaMaHxXx]

Я не был в числе паникёров, но всё же некоторые мысли, что "моя профессиональная жизнь" как-то изменится были, но сильно не пугался, ибо работаю в репортаже, а там надо фиксировать то, что реально было, а творчество - это для души.
Захотел однажды сделать съёмку а-ля латиноамериканка в соответствующем антураже. Рефов особо не нашёл и решил нагенерить их в Fooocus'е. Во-первых, нужно прописывать конкретные промты, чтобы результат получился максимально близким к тому, что ты видишь у себя в голове, что занимает много времени. Во-вторых, тупо завис там, ибо затянуло и стало интересно что вообще можно сделать и как.

[Maikl_Puzov]

Голова для того чтобы думать. Руки что бы делать. Нейросеть все это блокирует.

[kozbeg]

Отличный выпуск. Купил подписку Adobe после вашего прошлогоднего видео. Были какие-то большие надежды, однако по факту генерация фона выручила по делу всего несколько раз, ну а больше служит для развлечения. Чудес "по заказу" она не делает, к сожалению, и даже замена фона при предметной съёмке порой вынуждает после 30 генераций, к покупке на озоне подходящего бумажного фона вместо этих танцев с нейро-бубном)

[andrewmatys]

Надо было снять модель в платье, которого не жаль. Но это и понятно. На самом деле, всякое ведь бывает. Конечно, если планировать подмену фона, то стоит подумать над тем, который будет для нейросети простым под замену. И опять ограничения и дополнительные затраты, пусть и умственные. Мне кажется, что нейросети качественно изменятся в разы и порядки с годами и будут лепить всё что угодно и точно генерировать, замещать и многое другое. А может и нет, кто знает. События жизни развиваются не только в сторону обработки фото. Параллельно идут такие, что мороз по коже. И непонятно - что и чем может закончиться. Впрочем, будем думать о хорошем - генерировать лучший мир, в голове. Там у нас тоже - нейросеть, или её подобие, пусть и работает она по другим принципам и в разы медленнее, но во многом, если не во всем, все-таки, (пока) незаменимая. Документальную основу фотографии заменить пока нечем, разве что иной, параллельной вселенной.
У ваших видео есть одно общее свойство - они позитивны и вдохновляют.. Жизнеутверждающие. Не знал, что у вас ещё и культурологическое образование. Тоже когда-то хотел попробовать, вторым, но.. и первое высшее не особо-то понадобилось. Начало 90-х предложило другие сценарии, может и не самые лучшие, но - как уж сложилось. Спасибо Вам за труды и за настроение!