Guida COME GENERARE con FLUX.1 // DEV & SCHNELL su COMFYUI

Così improvvisamente, come un fulmine a ciel sereno, è arrivato lui: FLUX.1! 😁
Non è un modello come gli altri, è IL MODELLO, colui che sta stravolgendo e che stravolgerà le AI generative di immagini open source! 🤙
Guardiamo nella guida allora come utilizzarlo su ComfyUI!

Nel caso la guida ti sia stata utile, se ti va offrimi un caffè o fai una donazione per aiutarmi a far crescere il canale 😉👍

Server Discord Out Of Memory

Link della guida

Black Forest Labs

Pagina GitHub FLUX.1

FLUX.1 dev - FP16

FLUX.1 schnell - FP16

FLUX.1 dev - FP8

FLUX.1 schnell - FP8

FLUX.1 Text Encoders

VAE AE per FLUX.1

FLUX.1 dev FP8 + CLIP e VAE

FLUX.1 schnell FP8 + CLIP e VAE

FLUX.1 dev NF4 v2

RealisLoRA FLUX.1

LoRA per FLUX.1

Mio pack workflow v3.0
(trovi l'ultima versione sotto l'ultima guida di ComfyUI o sul Server Discord, canale Guide)

//
Mia pagina Instagram creazioni AI
ǤΔŇĐΔŁΔŇĐ
//

Credits

Music
Created with Udio

00:0 Intro
04:04 FLUX.1
05:45 Pagina GitHub FLUX.1
06:31 Download FP16 Models
07:41 Download Text Encoders
09:05 Download FP8 Models
10:12 Download FP8 Models w/CLIP+VAE
11:52 Download NF4 Models
12:46 Download LoRA FLUX.1
13:45 Riflessione Modelli
14:07 Update All
14:30 Install Missing Custom Nodes
14:57 Workflow FLUX.1 Dual-CLIP e VAE
22:16 Download VAE FLUX
22:55 Passaggi Workflow
23:24 Workflow FLUX All-In
24:38 Generazione FLUX
26:35 Considerazioni generazione FLUX
27:39 Conclusioni

#comfyui #flux1 #stablediffusion #stablediffusionwebui

Per collaborazioni commerciali contattatemi sulla mail che trovate nelle info del canale 😉👍

\_____________

d4N87's PC

Audio

Video

(in qualità di Affiliato Amazon io ricevo un guadagno dagli acquisti idonei)

\_____________

[dn]

⚠ ATTENZIONE ⚠ UPDATE: a quanto pare il problema principale era proprio ComfyUI, con qualche bug o non buona ottimizzazione, che allungava parecchio i tempi di generazione. Fortunatamente ora sono stati risolti, aggiornate la web UI e dovreste avere tempistiche incredibilmente inferiori. Lascio comunque il commento originale, dato che anche la versione di Pytorch potrebbe aiutare. (UPDATE2: consiglio per chi ha poca VRAM di mettere il flag in avvio --reserve-vram seguito da un numero che equivale a quanta VRAM non verrà usata da ComfyUI, in modo da non saturarla. Es. --reserve-vram 1 non userà 1GB, io l'ho impostato su 0.5 per non fargli usare 500MB e far passare il resto sulla RAM di sistema)
ORIGINALE: mi sono reso conto che con determinate versioni di Pytorch e xformers i tempi di elaborazione sono altissimi, per andare sul sicuro utilizzate la versione Pytorch 2.3.1+cu121 e xformers 0.0.27, non aggiornate alla 2.4.0 👍
Per riportarli a quella versione, andate nella cartella di ComfyUI da terminale e lanciate questi comandi (una riga dopo l'altra):

.\python_embeded\python.exe -m pip uninstall torch
.\python_embeded\python.exe -m pip install xformers==0.0.27

[FrancescoCassulo]

Questo è spettacolare, lo sto provando. Che bello. Ottima guida come sempre.

[Giorgio_Venturini]

Bellissimo video come sempre all'altezza. Lo aspettavo, e come sempre mi hai fatto capire tante piccole ma importanti sfumature, anche perche io con la mia 2080 ti -32 Ram sono in mezzo tra Schnell e Dev.
Grazie Dan

[Archalternative]

Come amo sempre iniziare i miei commenti ai tuoi video:) Super video come sempre D4N:) concordo assolutamente con la parte finale del tuo discorso. Sai quanto ci tenga alla questione ottimizzazione ma per un semplice motivo, molto spesso ho visto nel corso degli anni hardware davvero di un anno venire considerati obsoleti solo per una questione di marketing e mercato, quando questi in realtà non erano assolutamente sfruttati: questo problema ormai si ripercuote sul mercato ad esempio degli smartphone. Detta questa premessa, credo che per quanto l'ottimizzazione possa far bene perchè si può trarre il massimo da un proprio hardware, ad un certo punto bisogna progredire e noi come utenti finali dobbiamo prestare il fianco a richieste più alte. FLUX ha dato una bella scossa a questo settore che stava per affossarsi ed invece...che spettacolo. Già erano iniziate ad arrivare diverse alternative che cercavano di colmare ed andare a reclamare il trono di un sovrano abdicante...poi è arrivato FLUX che sembra Artù con la spada appena estratta dalla roccia che gli dona una superiorità disarmante. Video chiaro e come dicevi da qui in avanti solo la mia 5090 con 32GB di VRAM?

[RizzosAdventures]

Grandissimo, al mio rientro dalle ferie in Svizzera lo testerò al volo, aspettavo questo video con trepidazione

[Archalternative]

Il video che aspettavo...patatine, birretta e si guarda:)

[greyo]

Gran bella guida, grazie. In un'ora sono riuscito a generare immagini da completo neofita. Devo dire che con la 4090 si genera tutto in manciate di secondi.

[mrkeyframe]

Quello che è certo è che quelli del team Black forest, non sono degli scappati di casa!! 😂😂 ho gia commentato piu volte positivamente questo modello e confermo la mia opinione. La qualità delle generazioni di questo modello non ha precedenti! Sto gia provando ad addestrare un Lora personalizzato, che Dio me la mandi buona! 😁😁Quasi dimenticavo... Grande DAN!

[Tsumi]

Ottimo video e ottime istruzioni, iscritto subito! Ho solo una domanda, come faccio ad aggiungere nel menù a destra le percentuali di utilizzo e le temperature?così magari evito di tenere aperto hwinfo.Grazie ancora per i tutorial!

[fadeblack]

La domanda sorge spontanea: la versione modded "flux1-dev-bnb-nf4" di Flux è anch’essa soggetta alle restrizioni per uso non commerciale? In caso affermativo, esiste una release ottimizzata della Schnell che possa garantire una qualità di output e una capacità di generazione comparabili alla dev? Grazie mille per il supporto e complimenti per gli ottimi contenuti tecnici che condividi.

Ciao.

[MicheleCatalano]

Ciao, grazie per i video, fatti molto bene! Ho una domanda, a me sia usando il modello "all-in" che caricando manualmente il modello DEV e relativi VAE genera solo immagini pixelate, quadrettate che sembrano ad infima risoluzione... ho provato con il prompt che hai inserito di default e poi con altri prompt ma il risultato non cambia, è come se facesse un solo step di avanzamento tipo...
Qualche cosa che può essermi sfugito?
Grazie!

[daimones]

Ciao e complimenti per il canale. Sono nuovo di comfyui e flux e vorrei chiederti come posso fare ad inserire una persona in un'immagine.
In pratica ho l'immagine di mio fratello e vorrei inserire al suo fianco il nonno.
È possibile farlo? Puoi indicarmi come farlo?
Grazie in anticipo!

[nicolazanichelli]

Grazie D4n, aspettavo questo video su Flux, però ti prego... fanne uno anche per WebUI. Molte persone lo usano. Ho visto che con la WebUI con un solo flag si passa da SDXL a Flux.

[Catapumblamblam]

Ciao Dan, io non riesco ad usarlo, mi mancano sempre All-in-One-FluxDev-Workflow e FluxGuidance, ci ho provato la settimana scorsa ed ora di nuovo con il tuo video. Non li trova facendo l'update generico né, ovviamente, cercandoli come moduli mancanti o moduli generici.
ho provato pure a prendere i link per fare il git url upload, ma mi dice "This action is not allowed with this security level configuration".
Mi resta solo di scaricarli, ma non so dove vadano e se sia sufficiente inserirli a mano o il software debba registrarli.
Hai idea di quale possa essere il problema? sai dirmi dove stanno nella tua cartella? (così provo a metterli a mano)

[FrankignoEstudiantes]

Ma se uno usa un'immagine per scopi commerciali su una licenza che lo vieta, come fa il "signor Flux" a saperlo?

Tralasciando i metadata, che sono facilmente eliminabili con uno screenshot, il modello inserirsce un fingerprint invisibile per rendere tracciabili le immagini?

[asphoarkimete]

scusami den, sto provando flux.1 stoot forma di codice python ho provato dev e non va, nonostante ho una 3080 10gb vram anche se non potentissima ora sto provando schanell, ma non so ci mette mezzora ogni immagine e il pc si blocca, con rayze 9 5950x e 64 gb di ram, possibile che non è sufficente la macchina?? ecco gli script base: ho provato prima questo ma il pc si impallava{import torch
from diffusers import FluxPipeline

pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)


prompt = "a tiny astronaut hatching from an egg on the moon"
out = pipe(
prompt=prompt,
guidance_scale=3.5,
height=768,
width=1360,
num_inference_steps=50,
).images[0]
out.save("image.png")}, poi sono passato a questo con le ottimizzazioni : {First install optimum-quanto

Copied
pip install optimum-quanto
Then run the following example

Copied
import torch
from diffusers import FluxTransformer2DModel, FluxPipeline
from transformers import T5EncoderModel, CLIPTextModel
from optimum.quanto import freeze, qfloat8, quantize

bfl_repo =
dtype = torch.bfloat16

quantize(transformer, weights=qfloat8)
freeze(transformer)

text_encoder_2 = T5EncoderModel.from_pretrained(bfl_repo, subfolder="text_encoder_2", torch_dtype=dtype)
quantize(text_encoder_2, weights=qfloat8)
freeze(text_encoder_2)

pipe = FluxPipeline.from_pretrained(bfl_repo, transformer=None, text_encoder_2=None, torch_dtype=dtype)
pipe.transformer = transformer
pipe.text_encoder_2 = text_encoder_2



prompt = "A cat holding a sign that says hello world"
image = pipe(
prompt,
guidance_scale=3.5,
output_type="pil",
num_inference_steps=20,

).images[0]

peggio che peggio, ora sto provando :{import torch
from diffusers import FluxPipeline

pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell", torch_dtype=torch.bfloat16)


prompt = "A cat holding a sign that says hello world"
out = pipe(
prompt=prompt,
guidance_scale=0.,
height=768,
width=1360,
num_inference_steps=4,
max_sequence_length=256,
).images[0]
out.save("image.png")} speriamo bene, tu scusami che modello riesci ad usare sulla tua scheda video? per favore mi puoi dare qualche consiglio??