GPU in Proxmox durchreichen und OLLAMA2 nutzen.. #proxmox #ollama #nvidia

#ollama #gpu #llm

IT-Dienstleistungen (Coaching, Training, Beratung, Einrichtung)

██ MINI PCs für Proxmox / pfSense / OPNsense / Server ██

██ NAS Systeme für Zuhause oder im Büro ██

██ Mini Reise Router Empfehlungen ██

🔔 Social Media 🔔

*Als Amazon-Partner verdiene ich an qualifizierten Verkäufen. Vielen Dank für deine Unterstützung.

[autobargmann]

Endlich mal was neues und Interessantes. Weiter so. Macht Lust auf was neues. Ein paar "nützliche" Anwendungen wären auch schön.

[SuperLKproduction]

Super. Ich freue mich auf die kommenden Videos die auf die internen Inhalte trainiert werden

[DennisPlagge]

Oh, der Schröder Dennis macht wieder was Interessantes. Bin sehr gespannt, meine Tesla P4 hab ich letztes Jahr gekauft, musste aber leider dringendere Dinge erledigen. Da gibt es ja ein paar Sachen zu beachten beim Durchreichen und bisher fehlte halt leider die Zeit. Also sehr cooles Projekt, passt wie die Faust aufs Auge.

[mcluckey]

Wie hast Du die Kühlung der GPU geplant? Soweit ich das verstehe ich die GraKa zwar passiv gekühlt, braucht aber wie in Server gewöhnlich einen entsprechenden aktiven Luftstrom.

[cheebadigga]

Open WebUI arbeitet wahrscheinlich auf der CPU, weil der Container nicht mit dem Kernel direkt sprechen kann. Starte das Ding als privileged Container mit host Network, dann sieht das Ergebnis sehr wahrscheinlich so aus wie in der CLI.

[florian]

Das 13b Model passt nicht vollständig in den "kleinen" VRAM der Tesla-GPU und muss zum Teil auch in den normalen RAM geladen werden.
Dies führt dazu, dass auch die CPU mitackern muss.

In der Beschreibung des llama2 (Q4) Models auf ollama steht:

7b models generally require at least 8GB of RAM
13b models generally require at least 16GB of RAM
70b models generally require at least 64GB of RAM

[-.Gaba-.]

Interessant aber bereits beim ausbinden der PCIe aus dem OS (Proxmox) bin ich leider nicht mehr mitgekommen. Bin noch auf Lernstufe 2 (Tutorial Niveau) aber danke für die ausblicke wofür es sich zum lernen lohnt.

[cabanossiDE]

Tolles Video - wann geht es denn weiter mit dem Projekt?

[AndreasCordes]

Interessant, bin gespannt auf das Video zum Finetuning von den Modellen. Eine Übersicht über GPU's zum Mieten wäre da noch ganz gut

[Bananen_Paul]

Danke für die Erklärung! Musste ich direkt mal testen ... jedoch bemerke ich das llama3 bei mir nur die CPU belastet und nicht die GPU obwohl diese erkannt wird und alles ... auch hab ich bemerkt, dass das Modell nicht in die GPU geladen wird. Hast du da vielleicht noch einen kleinen kniff auf Lager ? :)

[agent]

Wie heißt denn das Tool im HIntergrund auf dem Fernseher?

[julfoi]

Die Frage ist jetzt nur welches Model willst du verwenden von den allen die es gibt um dieses zu traineren und zu füttern mit IPV64? Bzw hast du dich schon entschieden für ein Model welches du verwenden möchtest für IPv64?

[stephanschulze]

Wie immer tolles Video. Würde Open Web UI mit Ollama auf einem Nitel Nuc Sinn machen?

[Haijuken]

Sind das vorgefertigte Images / Infos oder kann man die selber anlernen bzw. füttern mit Infos

[kirito]

Hallo, super Video.
Könntest du eventuell auch eine Aleitung machen wie man die Intel GPU (Arc Serie) unter Ollama usw. nutzbar machen kann ?

[Klemmi.]

@RaspberryPiCloud: Zum Speicherplatz-Problem:
Rein bildlich gesprochen, kann man auch die Anzahl der enthaltenen "hard facts" im Modell auf die Anzahl der Gewichte mappen.
Ich finde, die Metapher einer "Datenbank" + "Datenverabreitungsroutinen" => "Anzahl der Gewichte" (z.B. 7b, 13b, 70b) recht eingänglich.
Ein Modell kann nur dann effizient angewendet werden, wenn alle (relevanten) Gewichte im VRAM der Grafikkarte liegen. Das ist leider bei den größeren Modellen (bei dir z.B. das Llama 13b) nicht mehr der Fall. Deshalb greift es dann in deinem Test (10:30) auf den normalen RAM und Prozessor zurück.

[dustingarder]

Ich habe die GPU gebypassed und treiber laufen auch und nvidia-smi sieht die karte auch aber wenn ich ollama und ein languange modell installiere dann geht es nur über die
ich habe 2x 4090 installiert

[Scho]

i saw this video and of course i thought it was a cool project so i bought a minsforum MS-01 and a Tesla P4 (Ofcourse not just because of this video ;-). But as i am expirimenting with it i cant get ollama to use the Tesla P4 card. I have installed the drivers and the cuda drivers for the card. Can someone tell me what i am doing wrong?... Thanks!

[renepape]

Hallo, was ist das denn für eine Maus, die Du benutzt? VG René

[Cabel]

Hallo,
Sehr interessantes Projekt. Gibt es die Möglichkeit zb meine Bücher einzuscannen u dann die Texte in die KI einzupflegen, so dass ich ihr Fragen stellen kann u sie mir aus dem Wissen der Bücher heraus antwortet?

Vielen lieben Dank
/Nick