Ollama + Open WebUI : l'IA LLM opensource, gratuite, auto-hébergée et sécurisée sous Docker !

Ollama est un projet open source qui vise à rendre les grands modèles de langage (LLM) accessibles à tous. Il fournit un moyen simple de créer, d'exécuter et de gérer des LLM, ainsi qu'une bibliothèque de modèles pré-construits qui peuvent être facilement utilisés dans une variété d'applications.

Ses avantages:
- API simples
- Bibliothèque de modèles pré-construits
- Flexible
- Open source

Aujourd'hui je vous le présente, combiné à une interface graphique nommée Open WebUI !

📱 Suivez moi ! 💻

🔗 Les liens et commandes 🔗

📃 Sommaire 📃
00:00 Ollama est un projet open source qui vise à rendre les LLM accessibles à tous
01:00 Le coût des LLM, la sécurité et la confidentialité: Ollama résoud une partie de ces problèmes !
02:20 Exemple d'utilisation: la domotique via Assist de Home Assistant
03:50 Exemple d'utilisation: une aide au développement logiciel
04:50 Dans cette vidéo: déployer Ollama et Open WebUI pour expérimenter sur votre matériel. Il vous faudra quand même de grosses ressources surtout pour les modèles performants.
06:10 On va utiliser encore une fois Portainer et un déploiement via Docker Compose
08:30 On va s'inspirer du fichier docker compose disponible à titre de documentation, composé de deux services, ollama et open-webui
15:25 On déploie les conteneurs et on observe les logs qui indiquent les capacités matérielles détectées
17:45 On accède au server Open WebUI et on crée un nouveau compte local
18:57 Première connexion à Open WebUI et découverte de l'interface: vous ne devriez pas être perdu si vous utilisez déjà ChatGPT
20:45 Ollama et sa bibliothèque de modèles supporté par le projet: installation et utilisation de tinyllama
26:25 l'API Ollama
28:35 On améliore les performances avec l'accélération AVX, AVX2 et surtout Cuda !
31:19 Et en production ? diun, réseau docker, et utilisation du reverse proxy SWAG si on veut rendre disponible ce service sur internet, ou aux autres machines ?
38:20 Vous pouvez tester des LLMs très efficaces comme Mixtral, mais il vous faudra du matériel très performant

[ixion]

Vidéo trés intéressante! Franchement j'attends le Jeudi avec impatience, merci pour cette découverte. Hâte de voir la suite concernant l'IA.

[yblisatya]

Super, merci, je viens de le mettre en place sur mon serveur, j'ai pu faire tourner des tout petit modèles, et je l'ai aussi testé sur mon macbook M1 pro, où là j'ai pu faire tourner des plus gros modèle, d'ailleurs j'ai pu aussi interfacer l'API de mon ollama local sur mon n8n pour des flux un peu personnalisé :) merci encore pour cette vidéo :)

[metalrearden]

merci pour cette video. Cela donne envie de tester. Et waow la response sur la question! Chacun sait que la réponse a cette grande question est "42".

[neutrinofr]

Merci ! C'est génial ! Je m'en vais mettre à genoux mon vieux core i7 '^^

[GeeKeWi]

Merci pour cette vidéo, sympa de découvrir un peu plus le potentiel de docker avec toi.
+1 pour la vidéo de la gestion des réseaux

[Tigres]

Merci pour tes videos !! beau travail !!!

[PlaGiatMan]

Salut, encore une super vidéo =) ce serait top que tu fasses une vidéo supplémentaire sur le sujet pour expliquer comment utiliser un GPU en détail =D

[ioio]

[RESOLU] Merci aussi. Je pose une question à la communauté au cas ou quelqu'un à été confronté au même problème que moi. Le GPU (nvidia4060 en l'occurrence) n'est pas du tout détecté par le docker ollama. j'ai installé le système sur un Win 11 avec Docker Desktop. Tout fonctionne, j'ai mis openwebui, accès par reverse proxy, avec tout plein de models qui fonctionnent, mais sur le CPU. J'ai tellement galéré et besoin de résoudre le problème que j'apporterai la réponse si personne me la donne. ca pourra peut être aider. Habituellement je fais tout sur mon Nas qui existe un peu Grace à toi, mais cette fois ci les performances réclamées nécessitaient que j'installe sur une autre machine, c'est pour cela Win11.

[jackbauer]

et pour un deploiement en production autre que local ?

[fredpourlesintimes]

Dommage que tu parles pas de la génération d'image

[Sanji]

Pour ton NUC, est-ce que tu es capable d'utiliser le iGPU intégré dans ce use case ? Est-ce qu'il y'a déjà un intérêt pour utiliser un iGPU ou pas ? Je pense qu'un iGPU utilise la mémoire partagée du NUC non ?

[jbsness]

Merci pour ce partage ! Petite question de débutant comment faire si tu veux update la version de Open WebUI ?, merci.

[Bakitto]

Le cas d'usage 1 est exactement ce que j'attends depuis des années et éviter de partager mes données avec Open Ai

[vfbotgl]

sur ollama la webui c'est bof, les réponses tournent vite en boucle, il se répond à lui meme, répète la chronologie de ses réponses à chaque nouvelle réponse, puis bloque beaucoup plus vite que depuis un terminal qui fini aussi par le faire, je viens de tester llama3 c'est une cata . peut etre le template fournis par ollama qui est bof ... je sais pas mais je trouve pas llama3 si ouf que ca du coup ...

[dandyiy]

comment avoir une version non censuré des modèles ??

[RIPrisitas]

Open-WebUI je penses que pour le nom ils ont juste voulu dire que c'est une copie de l'UI de OpenAI

[nico.m]

comment il va faire Guillaume dans le noir.

[SpectraFire]

J'utilise un vieux pc qui ne vaut pas grand chose et je parvient a faire tourner Mistral 7B en local 🤣