KI war nie so EINFACH! KOSTENLOSE KI LOKAL auf deinem Rechner! Llama Tutorial

Inhalt 📚
In diesem Video zeige ich dir, wie du eine KI wie ChatGPT ohne Internet in weniger als zehn Mausklicks bei dir lokal auf dem Rechner nutzen kannst. Dafür brauchst du keinen OpenAI-Account, musst dich nirgendwo registrieren und kannst theoretisch deine eigenen KI-Apps bauen ohne einen teuren Online-Dienst nutzen zu müssen. Die KI kann übrigens auch Bilder analysieren.
Der große Vorteil dabei ist, dass du dir nur einmal eine ca. 4.2 GB große Datei herunterladen musst und bei der lokalen Ausführung auf deinem Rechner nicht Gefahr läufst, dass irgendwelche Daten geleakt werden. Deshalb eignen sich solche lokalen Large Language Models hervorragend für den Einsatz in Unternehmen.
#Llama #OpenAI #ChatGPT

00:00 | Einführung
01:02 | Was ist Llama?
01:13 | Llama installieren
02:11 | Llama starten
04:17 | Erklärung der Parameter
05:06 | Text generieren
05:25 | Code generieren
06:18 | Bilder analysieren

Schritt-für-Schritt Tutorial ⚙️
► Starte die Datei. Sprich zuvor mit deinem Systemadministrator ab, ob du die Datei wirklich ausführen darfst! Falls ja, dann klicke auf "Mehr anzeigen" und anschließend auf "Trotzdem ausführen".
► Anschließend sollte sich ein Browser mit dem Aufruf der URL 127.0.0.1:8080 öffnen. Falls nicht, rufe diese URL (inklusive dem Doppelpunkt und der 8080) selbst im Browser auf.

Video zur Integration von Llama als API folgt noch diese Woche!

Quellen:

SOCIAL MEDIA

[ki-music]

Bitte noch mehr solchen Content. Z. B. wie man ein RAG nutzt, mit chatgpt und entityanonimization arbeitet oder wie man PDFs professionell scrapen kann (Header, Tabellen, Text und Bilder voneinander separieren, etc.). Vielen Dank für all deine Mühe!

[Stefan-wnwi]

Herzlichen Glückwunsch zu den 100.000 Abonnenten. Ist schon echt erstaunlich, wie du innerhalb der letzten Jahre von ganz unten bis nach hier gekommen bist. Die Entscheidung von deinem alten Arbeitgeber zu gehen hat sich wohl gelohnt. Wünsche dir noch Alles Gute für die Zukunft. :)

[bud]

Glückwunsch zu 100k! Jetzt noch ein Tutorial, wie man so ein Modell Finetunen kann und alles wäre perfekt^^

[LBmaster]

Mega cool. Ich bin seit längerem auf der Suche nach etwas Ähnlichem. Ich bin aktuell auf der Suche, wie ich für meine Kunden eine KI Bot programmiere, der meine Antworten auf Discord und Webseiten FAQs lesen kann und damit lernt den Leuten zu antworten. Es wäre cool, wenn du zeigen könntest, wie man eine solche KI mit eigenen Daten trainieren kann

[unschuld]

Ah endlich. Ich habe schon nach sowas gesucht für mein aktuelles Projekt. Dankeschön 🙏 😊

[DragonyEstorial]

Super ich würde mir gerne mehr Content wünschen im bereich wie man so ein System selbst Fine-Tunen kann oder gar selbst ein LLM basteln kann das wäre nen Träumchen ^^

[Andzej-PL_DE]

Hallo Florian, ich finde deine Tutorials und Videos sehr hilfreich und informativ.
Könntest du vielleicht ein Tutorial zur AutoTrain-Funktionalität von HuggingFace machen?
Es wäre toll, wenn du auch zeigen könntest, wie man mit der kostenlosen Variante eigene Daten verwendet, um Modelle nachzutrainieren.
Vielen Dank für deine großartige Arbeit.

[Lugge]

Wie nice, dass du die benötigten Mausklicks extra reineditiert hast :D Ist echt beeindruckend, was heutzutage möglich ist beim Thema KI.

[StyleTechnique]

ich habe da noch ein paar Fragen.
1. Gibt es dafür auch Möglichkeiten, das es nicht nur Bilder analysiert sondern auch Bilder generiert?
2. Weißt du wie groß der qualitative Unterschied zwischen v1.5 und v2 ist?

[RockaRolla]

Danke für dieses grandiose Video :)
Hab schon ein bisschen damit rumgespielt, auch ein Gedicht schreiben lassen. Zuerst eins auf deutsch, dann eins auf englisch. Das deutsche war eher grausig, das englische hingegen ganz ok. Die Bilderanalyse funktioniert erstaunlich gut. An ein GPT 3.5 oder GPT 4 kommt die AI bei weitem nicht hin, aber trotzdem ganz nett :)

Die AI berechnet übrigens über die CPU und nutzt gerne alle Threads dieser aus. Bei meinem 12-Kerner (Ryzen 9 5900x) dauert eine Bildanalyse inklusive Antwort etwa 30-35 Sekunden, für ein 10-zeiliges Gedicht braucht es etwa 17 Sekunden. Alles recht flott also.

[mattmcwieg]

Absolut krass!!! Super Erklärung! Mit welchem Editor öffne ich die heruntergeladene Datei?!
j

[nickthegamer]

Cooles Video aber unten rechts mit dem Ton ist nicht symphatisch und tendiert eher dazu, das es nervt/stört.

[outdooradventuremore]

Läuft das im RAM/CPU oder auf der GPU/Grafikspeicher?

[eisvgel]

Es wäre, zumindest für mich, sehr interessant zu erfahren, ob und wie man ein GPT spezifizieren und für bestimmte Aufgaben anlernen bzw. umlernen kann.
Ob es zu dieser Thematik wohl irgendwann ein Video geben wird?

[holgerschulze]

Verrückt, Danke... Was ich noch nicht ganz verstanden habe: zieht sich die KI die Daten aus dem Netz? Aus welchen Quellen?

[EuroPC]

Super Video. Ich habe es mir jetzt unter Docker auf meinem Synology NAS installiert.

[ddbb]

Sehr nettes Spielzeug. Es freut mich auch sehr das wir hier mal so llm haben für das man nicht erst eine python Umgebung benötigt.

[Votaro-jgri]

Cool. Bekommt man das auch unter Linux ans laufen?

[verox]

Kannst du mein ein Video zu Fourier Reihen/ Transformation machen? Da gibts wenig gutes im deutschsprachigen

[tomschuelke]

Ich habe gerade für meinen Sohn eine GPT version aufgesetzt in der er (gpt´s) mithilfe eines Prepromptes einen "Lehrer" erhält, der hochgeladene PDF´s als Grundlage nutzen kann, um sich zu Chemie Abfragen zu lassen. Funktioniert ziemlich beeindruckend. die PDF´s enthalten text und Bilder und GPT4 scheint beides für die Fragen zu bemühen.

So etwas ähnliches würde ich gerne auch mit Freeware LLM´s erreichen können.

1. geht das und
2. welches modell wäre da aktuell das leistungsfähigste.. wie siehts zb. mit Falcon aus? Oder Orca2.. ich komm da nicht mehr hinterher...