Guida CONTROLNET e OPENPOSE su STABLE DIFFUSION // WebUI Automatic1111

A distanza di qualche giorno dalla sua uscita e dopo averla studiata nel suo funzionamento, ho deciso di fare una guida su questa nuova incredibile estensione chiamata ControlNet.
Nel video vedremo le varie impostazioni e come utilizzarla per generare, anche utilizzando l'estensione annessa chiamata OpenPose Editor.

Nel caso la guida ti sia stata utile, se ti va offrimi un caffè o fai una donazione per aiutarmi a far crescere il canale 😉👍

Link della guida:

Modelli versione .safetensor
Hugging face
CivitAI

Estensioni da installare:
ControlNet
OpenPose Editor

Fonte guida inglese:

Mia guida su ControlNet:

Mia pagina Instagram creazioni AI
ǤΔŇĐΔŁΔŇĐ

Credits

Music:

00:00 Intro
00:13 Parentesi Iscritti
00:41 Intro
01:31 File & Link
02:42 Installazione ControlNet e OpenPose Editor
03:38 Impostazioni ControlNet
09:05 Preprocessori & Modelli
13:42 Generazione
17:04 OpenPose Editor
20:43 Conclusioni

\_____________

\_____________
d4N87's PC

Audio

Video
OBIETTIVO: Polar 52mm 2.8 CanonFD

\_____________

[dn]

Tutto molto bello, ma come applicare realmente ControlNet alle generazioni? 🤨

[orwell]

Ciao Dan, mi stai aiutando molto a capire questo mondo complesso, complimenti alla chiarezza nelle spiegazioni, appena riesco contraccambierò con un caffè ;)

[sementimantovane]

Grazie fantastico davvero lo provero' al piu' presto....

[VincenzoT-hm]

Ciao Dan, uso stable da qualche tempo e ti ringrazio perche' mi hai spiegato un sacco di cose molto velocemente; mi hai fatto una tenerezza infinita sull'arringa iniziale, ovviamente mi sono iscritto perche' le tue spiegazioni sono validissime e per quanto la materia sia nuova tu mi sembri molto preparato. Se ti interessa poi possiamo parlare anche direttamente, io sono un Lead 3d artsit ed art director. Ciao, continua cosi' e fai altri video!

[Archalternative]

Davvero una bellissima spiegazione ed ottimo video, meriti sicuramente di crescere qui su youtube👍🏻👍🏻👍🏻👍🏻👏👏

[paolo_fantinel]

Ho visto molti dei tuoi video, ti faccio i complimenti per la chiarezza della comunicazione, una domanda, non ho capito come e da dove installare gli imbanding..mi manca questo passaggio.grazie e ti seguirò con molto interesse

[TheMastrix]

Ciao, per prima cosa complimenti per questi video su Stable Diffusion, grazie a te sto imparando un bel po' di cose! Avrei una domanda, i models da abbinare ai preprocessor vanno scaricati o dovrebbero già essere inclusi in controlnet? Voglio precisare che ho una gpu AMD e so che non è il massimo per lavorare con stable diffusion...

[angelocasteltrione]

Buongiorno Dan quando qualche tutorial sulla fusione di modelli?

[alexyoizen]

Sto seguendo tutti i tuoi videoguida su SD, veramente ben fatti, complimenti. Visto che ogni volta ci si ricorda del fatto che serva un bel PC (scheda video quantomeno), hai pensato di fare una guida per SDonline con Google Colab?

[EmanueleBredy]

Ciao. A parte il colore dell'interfaccia che a me risulta chiaro, ma nel mio controlnet non ci sono i tasti sottostanti Preview annotator ecc... come mai?

[valentinaruospo]

Buonasera Dan🍀 puoi indicarmi dove scaricare il modello "Canny-v1", che indichi nel tutorial, (CHE TI PERMETTE DI CAMBIARE LO SFONDO TRAMITE PROMPT AD UN IMMAGINE CARICATA IN CONTROLNET) in Hugging face non lo trovo, c'e' solo control_canny-fp16.safetensors, al momento sto usando Forge. Grazie spero di essermi espressa al meglio per farmi capire da te....se sai e puoi aiutarmi?

[carlodamelia]

Buongiorno sto cercando di installare openpose editor ma mi da questo errore
*** Error loading script: main.py
Traceback (most recent call last):
File "D:\stable-diffusion-webui\modules\scripts.py", line 527, in load_scripts
script_module =
File "D:\stable-diffusion-webui\modules\script_loading.py", line 10, in load_module

File "<frozen importlib._bootstrap_external>", line 883, in exec_module
File "<frozen importlib._bootstrap>", line 241, in _call_with_frames_removed
File "D:\stable-diffusion-webui\extensions\openpose-editor\scripts\main.py", line 14, in <module>
from basicsr.utils.download_util import load_file_from_url
ModuleNotFoundError: No module named 'basicsr'

---
sai come risolvere?
grazie in anticipo, le tue guide sono molto dettagliate ed esaustive complimenti

[angelo_nfsbaz]

ciao, come mai non mi da il pulsante anteprima ma solamente "Create blank canvas"? grazie

[Farins]

Ottima guida, purtroppo una volta installato il Controlnet manca il bottone per interrogare l'immagine, a prescindere al preprocessor e dal model scelto, messa un immagine da analizzare ma....manca il bottone di preview e di generazione....ho SD 1.5 e qui dalla mia parte non và..peccato

[HTwords]

ho provato ad usare controlnet però con SDXL non funziona. E' possibile?

[tranchillo]

Ciao Dan. Sono riuscito finalmente ad usare Deforum per fare alcune animazioni (ho dovuto guardare e riguardare un po dei tuoi video, per capire dove sbagliavo) ^_^
Il problema che mi si presenta ora, mi sta facendo impazzire. E' da giorni che provo a risolvere cambiando impostazioni, ma mi sa che alla fine sto incasinando più di prima.
Vorrei usare ControlNet per rifare dei video con un'altra grafica, ma devo aver saltato qualche passaggio o smerdato troppo le impostazioni o forse ho solo installato roba nel posto sbagliato..
Quindi mi affido a te nuovamente ^_^ Sapresti dirmi come risolvere questo errore? Praticamente mi genera solo il primo frame, poi si blocca e mi esce questo:

Reading ControlNet 1 base frame #0 at
2023-06-21 21:55:25, 084 - ControlNet - INFO - Loading model from cache: control_canny-fp16 [e3fe7712]
2023-06-21 21:55:25, 091 - ControlNet - INFO - Loading preprocessor: canny
2023-06-21 21:55:25, 091 - ControlNet - INFO - Pixel Perfect Computation:
2023-06-21 21:55:25, 094 - ControlNet - INFO - resize_mode = ResizeMode.INNER_FIT
2023-06-21 21:55:25, 095 - ControlNet - INFO - raw_H = 1920
2023-06-21 21:55:25, 095 - ControlNet - INFO - raw_W = 1080
2023-06-21 21:55:25, 096 - ControlNet - INFO - target_H = 512
2023-06-21 21:55:25, 097 - ControlNet - INFO - target_W = 512
2023-06-21 21:55:25, 098 - ControlNet - INFO - estimation = 512.0
2023-06-21 21:55:25, 098 - ControlNet - INFO - preprocessor resolution = 512
141it [00:39, 3.57it/s]
Animation frame: 1/120 ████▊ | 47/1096 [00:38<11:47, 1.48it/s]
Calculating DIS Medium optical flow for frames 0 to 1

*START OF TRACEBACK*
Traceback (most recent call last):
File "C:\Stable-Diffusion-webui-1.2.1\extensions\deforum-for-automatic1111-webui\scripts\deforum_helpers\run_deforum.py", line 78, in run_deforum
render_animation(args, anim_args, video_args, parseq_args, loop_args, controlnet_args, root)
File "C:\Stable-Diffusion-webui-1.2.1\extensions\deforum-for-automatic1111-webui\scripts\deforum_helpers\render.py", line 407, in render_animation
flow = - 1, (args.W, args.H), inputfiles, hybrid_frame_path, prev_flow, anim_args.hybrid_flow_method, raft_model,
File "C:\Stable-Diffusion-webui-1.2.1\extensions\deforum-for-automatic1111-webui\scripts\deforum_helpers\hybrid_video.py", line 168, in get_flow_for_hybrid_motion
i1 = get_resized_image_from_filename(str(inputfiles[frame_idx]), dimensions)
IndexError: list index out of range
*END OF TRACEBACK*

User friendly error message:
Error: list index out of range. Check your schedules/ init values please. Also make sure you don't have a backwards slash in any of your PATHs - use / instead of \.
Deforum progress: 4%|█████▊ | 47/1096 [00:39<14:38, 1.19it/s]

[multimagical]

Dalla v1 alla v1.1 con i nuovi controlli ho perso il controllo del mio lavoro. Adesso con Canny anche col seed fisso non riesco ad avere quello che voglio.

[vixenpic]

non mi compare il tab openpose editor anche se è istallato :/

[cinghialeever]

openpose è rotto dopo l'ulimo aggiornamento.. non cattura le pose da foto esistenti, non manda a text to img e img to img le pose... sto impazzendo!