Sprach-KI selber betreiben | c’t uplink

Das Problem stellt sich vor allem für Firmen: OpenAIs ChatGPT mag ein irre praktisches und mächtiges Tool sein, doch es spricht auch einiges dagegen. Vor allem in Sachen Datenschutz, aber auch in puncto Langzeitstabilität des Funktionsumfangs hat man über das US-System schlicht keine Kontrolle.

Eine interessante Alternative ist es, eine generative Sprach-KI selber zu betreiben. So bekommt man nicht nur die Hoheit über die eigenen Datenbestände zurück, sondern kann den Funktionsumfang auch gezielt an eigene Bedürfnisse anpassen. Obendrein ist das Ganze auch noch Open Source.

Im c’t uplink sprechen wir darüber, was man an Hardware und an Software braucht, um sich eine eigene Chat-KI zu bauen, was auf dem eigenen Testrechner funktioniert und wofür man besser einen Cloudserver anmietet. Außerdem: Wie finde ich eigentlich raus, welches von tausenden KI-Systemen am besten für meine Zwecke geeignet ist?

Mit dabei: Jo Bager, Hartmut Gieselmann, Pina Merkert
Moderation: Jan Schüßler
Produktion: Ralf Taschke

Unsere Artikel zum Thema selbstgehostete Sprach-KI finden Sie in der aktuellen c’t 23/2023.

Kapitelmarken:
0:00 Einleitung
1:20 Warum selber hosten?
2:12 KI-Vergleichsdatenbank Hugging Face
3:30 Ursprung der Open-Source-Modelle: LLaMA
6:20 Kommerzielle Nutzung, urheberrechtliche Unsicherheiten
10:18 Drei Wege zur eigenen KI
17:10 Prompt-Engineering ausprobieren
18:17 Bing-KI: neuere Nachrichtenlage vs. ältere Trainingsdaten
19:45 Inhaltsfilter und illegale Inhalte – ChatGPT vs. Open-Source-Modelle
23:53 Wie das Feintuning abläuft
28:32 Wo generative KI nicht weiterhilft (weil sie halluziniert)
39:40 RAM-Bedarf kleiner Modelle
41:51 Für größere Modelle: Cloudserver
42:40 Noch ein paar Tipps zum Abschluss

► c’t auf Papier: überall wo es Zeitschriften gibt!

#ki #chatgpt #diy

[ralfstahlmann]

Ist die Installation einer Sprach-KI Voraussetzung, um einen eigenen Sprach-Assistenten zu installieren?

[peterwolf]

Wie sind denn die Mindestanforderungen an den Rechner, um dies flüssig zu nutzen?

[cgnfuchur]

Warum haben drei der vier Personen ihre Hände meist unter dem Tisch? wirkt irgendwie merkwürdig. haha

[DietmarSpringer]

Kann man die Redezeit zwischen den Rednern in etwa gleich verteilen?

[TheThagenesis]

die Aussteuerung der Mikros passt heute mal gar nicht zueinander!

[walker]

Ich stimme Pina vollkommen zu u bei Musik bzw. Melodie ist es tw. auch grenzwertig u womgl. auch nie eindeutig…

[samsungltetabslte]

Was ist denn mit den Mikrofonen passiert?