Ich habe mir einen KI-Cluster gebaut 😱

Wir haben vier Mac minis mit jeweils 48 GByte per Thunderbolt 5 zu einem Cluster gekoppelt. Möglich macht's das experimentelle Exo-Projekt.

=== Anzeige / Sponsorenhinweis ===

=== Anzeige / Sponsorenhinweis ===

► Kapitelmarker:
0:00 Intro
0:59 WERBUNG: Intel Core Ultra und Bechtle
1:53 Die Mission
4:28 Kleiner Test mit drei Sprachmodellen
5:58 Thunderbolt-5-Kabel-Test
7:50 Der Cluster-Aufbau
9:02 Exo-Installation
10:51 Großer LLM-Test
14:53 Fazit

► und TOTAL CRAZY auf Papier! Überall wo es Zeitschriften gibt!

► Credits:
Konzept & Redaktion: Jan-Keno Janssen
Schnitt: Pascal Schewe
Host: Jan-Keno Janssen

#MacMiniCluster #MacMini #Thunderbolt

[ct]

*Korrekturen und Ergänzungen*:

Wir haben den Cluster nochmal mit einem TB5-Hub (von OWC) ausprobiert, leider hat es auch mehreren Stunden Troubleshooting nichtr funktioniert.

Der Mac mini M4 (Pro) ist nicht passiv gekühlt, auch wenn sich der Lüfter in unseren Tests nie einschaltete.

Der Mac mini ist optional mit 10-Gbit-Ethernet erhältlich (115 Euro Aufpreis).

[realdavidpain]

Sponsor: Intel Core Ultra
Inhalt: Apple Silicon und zwar massig davon

[noricola]

Interessanter Abriss. Danke für die Mühe, auch wenn es sich am Ende nicht so gaanz gelohnt hat.

[bjober]

Danke für die tollen Videos und Deine Mühe. Im Gegensatz zu einigen anderen bin ich sehr dankbar für alle Videos zum Thema KI. Ein neues Zeitalter, bei dem es nicht ganz so einfach ist Schritt zu halten. Würde mir auch mehr zum Thema KI in der c't wünschen.

[robertbutscher]

super, absolut geniales Video. Vielen Dank für die aufschlussreichen Experimente.

[IIellocoII]

Oha! schon beim networkchuck so cool😉

[klauszinser]

Danke. Was ich da am überlegen war sind RaspberryPI oder Rockchip Alternativen. Die sind aber bei 16 oder 32GBRam schnell oberhalb von 200€. Apple ist da schon einigermaßen günstig. Und den Notebook mit 128 GByte RAM gibt es für knapp 6.000€. Nicht günstig aber wenn wir die Rechenleistung betrachten geht da schon einiges.
Was mich etwas wundert, DeepSeek hatte doch eine Funktionalität dass diese immer nur einen Teil des gesamten Sprachmodells - je nach Aufgabe - aktivieren so daß ich da weniger als die erforderlichen 700 GB RAM erwartet hätte.

[watchadult]

Magst du vielleicht ein Video machen wo du erklärst wie man einen mac Mini headless (also ohne Display) betreiben kann?

[drsteinschneider]

Danke für das Video.Ich habe nicht die Hardware und bezweifle, dass mir Apple mal eben vier Minis ausleiht. Ich wäre sehr froh über mehr Videos zu dem Thema von dir. Das Team macht einen super Job von Euch.
Ich würde gerne ein Sprachmodell zuhause laufen lassen.Wir sollten uns nichts vormachen: Was in einer fremden Cloud passiert, wissen wir nicht.
Wie schlecht es sein kann, von einer Firma oder einem Staat abhängig zu sein, können wir in der aktuellen Weltpolitik gerade mit den USA beim Thema Sicherheit sehr gut beobachten.Will man das so erleben? Ich nicht.

[bugreporterify]

Framework Desktop ist vermutlich auch eine Alternative

[florianopolis]

Immer wieder super interessant was ihr da macht! ❤

[meterpaffei]

Ich habe keine Ahnung, wozu man sowas wirklich braucht. Ich werde mir aber auch in Zukunft eure Videos anschauen.

[julianherbst]

Was würde passieren wenn das Cluster über Thunderbolt parallel angeschlossen wäre? Also alle Mac Minis nochmal untereinadner. Wäre interessant ob sowas funktioniert

[simoon]

Sehr gutes Video. Danke für den praktischen Test. Ich würde mir ein Video über KI-Agenten wünschen Blue-Prints von Nvidia; n8n oder evtl ein dynamischen Ansatz über Python und mittels ChatGPT-API

[gogollafit]

Die KI sagt das ist keine KI, sondern nur ein Proof of Concept. Interessant für Techenthusiasten.

[Skippercpo]

2 DVDS PRO Sekunde 🤣🤣sehr gut oder ca. 5800 Floppy Disks für die noch älteren Gruftis unter uns (eingeschlossen mir)😉😊

[realBHGTV]

Hat das selbe Video nicht vor kurzem erst NetworkChuck gebracht?

[therealjantube]

Na hör mal! Ich habe das Gefühl, dass ich dieses Video inspiriert habe. Guck dir meinen Kommentar unter eurem "So läuft DeepSeek lokal mit voller Qualität" Video an! 😁👍 Schade, dass du nicht so weit gekommen bist. Die anderen, die ich gesehen habe, haben auch erstmal langwierig jedes Modell komplett auf jeden Mac Mini aufgespielt, weil es nicht funktioniert hat, nur einen Teil der Modelle auf jedem Mac Mini laufen zu lassen. Ich habe da Llama 3.1 405B mit 0, 8 Tokens/Sekunde gesehen. Aber mit einem Thunderbolt-Hub. Ihr habt euch bestimmt auch schon einige Videos angeguckt. Vielleicht geht da ja noch was, so lange ihr die Geräte noch habt!

[lars_aus_CGN]

Probier das mal mit den Mac Studio M3 Ultra. ;-)

[ZerberusVII]

Und jetzt noch mal mit dem neuen Mac Studio mit 512GB RAM. 😁