Prompt Engineering für Entwickler - Ralf D. Müller auf der W-JAX 2023

Im Zentrum des Vortrags von Ralf D. Müller stand das Prompt-Engineering, ein Schlüsselelement im Umgang mit fortschrittlichen Sprachmodellen wie GPT-3 und GPT-4.

Das Prompt-Engineering ermöglicht es Entwickler:innen, genaue und nuancierte Antworten von KI-Modellen zu erhalten und das Potenzial der KI voll auszuschöpfen. Wir tauchten tief in die Unterschiede zwischen GPT-3 und GPT-4 ein, erkundeten die Komplexität neuronaler Netze und die Bedeutung der Multi-Modalität in der heutigen KI-Landschaft. Ein besonderes Augenmerk legten wir auf die Kunst des Primings und der Kontextualisierung von Prompts, die die Effektivität und Präzision der KI-Interaktionen erheblich steigern können. Neben theoretischen Überlegungen werden reale Anwendungsfälle diskutiert, die das Potenzial von Prompt-Engineering veranschaulichen.

Notizen / Tipps:

19:05 Priming / System Prompt: Wer, wie, was oder Rolle des Modells

22:53 Indikator für Kontextfenster: Start every response with a "spitze Klammer"

28:04 Hallozination: "Wenn du etwas nicht weißt, gib es zu und erfinde keine eigene Antwort"

34:50 Langzeitgedächtnis (Einstellungen) für Kontext

38:59 Gegenfragen stellen lassen

40:40 Bedenkzeit geben / Problemzerlegung in "Häppchen"

44:10 Chain of thought: logische Reihenfolge beachten

48:00 Editing / Redo

Bleibe auf dem Laufenden:

Die Zukunft der Bahn ist digital. Dafür bereiten wir den Weg.

DB Systel GmbH mit Sitz in Frankfurt am Main ist hundertprozentige Tochter der DB AG.

Digitalisierung ist der zentrale Erfolgsfaktor für die Zukunft der Bahn. Dafür bereiten wir den Weg. Gemeinsam mit allen Geschäftsfeldern der Bahn und konsequent im Verbund erschließen wir neue Wege im Gesamtsystem Bahn, um die Digitalisierung der Geschäftsprozesse und ganzheitliche digitale Lösungen voranzubringen. Um exzellente Kundenerfahrungen mit starkem Kundennutzen zu schaffen, haben wir ein umfassendes Leistungsangebot aufgestellt, das höchsten IT-Standards und -Anforderungen entspricht.

[piano]

Notizen / Tipps:

19:05 Priming / System Prompt: Wer, wie, was oder Rolle des Modells

22:53 Indikator für Kontextfenster: Start every response with a '>'.

28:04 Hallozination: "Wenn du etwas nicht weißt, gib es zu und erfinde keine eigene Antwort"

34:50 Langzeitgedächtnis (Einstellungen) für Kontext

38:59 Gegenfragen stellen lassen

40:40 Bedenkzeit geben / Problemzerlegung in "Häppchen"

44:10 Chain of thought: logische Reihenfolge beachten

48:00 Editing / Redo

[piano]

16:10 Über Multi-Modal lässt sich streiten. In einem anderen Video hab ich gesehen, dass GPT gerade nicht Multi-Modal sei, denn die Fähigkeiten seien nur "angeflanscht". GPT ist primär nur mit Text trainiert. Aber es gibt andere LLMs welche eben auch mit anderen Daten wie Audio und Bildern trainiert seien und daher dann wirklich Multi-Modal seien, da diese Fähigkeiten aus den Trainingsdaten heraus kommt. Bei Google Gemini sei das wohl der Fall.

[BenWW]

Ich habe gerade begonnen, mich mit dem Thema zu beschäftigen. Sehr zugänglicher Vortrag, der genug Tiefe bietet, um konkreter in einzelne Aspekte einzutauchen. Das Phänomen des "aus dem Kontext laufen“ war mir zB noch nicht bewusst. Vielen Dank für die gute Übersicht.