Mistral AI : Comment tester Mixtral 8x7B sur PC, Mac, Android ou iPhone ?

---------

Au sommaire :

Intro 00:00
Mixtral 8x7B c'est quoi ? 00:35
Mixture of experts, Kezako ? 03:29
La balle et la batte 04:39
Tester Mixtral AI en ligne 05:15
Tester Mixtral 8x7B en local sur PC 07:16
Mixtral AI sur LMStudio 10:20
Mixtral crée un compte à rebours du nouvel an 11:09
D'autres prompts 13:37
Mistral AI hallucine aussi 15:20

---------

Pour aller plus loin avec #MistralAI #Mixtral8x7B (mes sources)

L'annonce officielle de Mixtral8x7B, Mixtral of experts

Quelques docs explicatifs sur Mixture of experts / Mixtral AI

Hugginface Chat pour tester Mixtral en ligne

Guillaume Lample (CTO de Mistral AI) explique les challenges de construire un LLM open source avec moins de paramètres ici

Talk avec Photoroom

Data Driven 101

LM Studio

---------

---------

Si tu veux devenir un bon créateur de contenu, lis mon livre ici :

Promis, je ne l'ai pas écrit avec une IA ;-)

---------

---------

Sous-titres générés avec Whisper

---------

Musiques :

Boogie Bounce
License code: GREC9NGY46B36C4N

---------

[jeanviet]

Que pensez-vous de Mixtral 8x7B ? Meilleur que ChatGPT ? Et qui avait le bon coût de la balle du premier coût sans tricher ? Tu l'avais ? Bravo, tu es aussi bon qu'un Mixture of experts ;-)

[fabricegambier]

Installé aujourd'hui sur un Mac Studio M1Max 32Go, ça fonctionne parfaitement. Je suis bluffé !! Sur un Macbook Air M2 24Go ça traine pas mal. Merci pour cette vidéo, je vais regarder les autres 🙂

[zxmyxms]

Je viens de découvrir ta chaîne avec cette vidéo 🙂 Bonnes explications et très agréable à suivre ! Je vais regarder tes autres vidéos 🙂

[amarsrayer]

Alors que je testais Mistral 7B, j'ai voulu voir ce que donnait Mixtral 8x7B. Alors pour commencer, je pense que l'exemple que tu partages avec le coût de la balle et de la batte est faussé . Effectivement, j'ai testé sur les deux versions et la réponse sur 8x7B est non seulement correcte, mais en plus bien plus détaillé, le modèle commençant de lui-même par expliquer pourquoi les gens se trompent sur ce problème. Ce qui montre qu'il le connaît et qu'il a été entrainé dessus. En gros, il répète ce qu'on lui a dit. Aucun autre problème testé par la suite n'a été concluant. C'est certes un peu mieux que Mistral 7B, mais je ne trouve pas que le compromis en local vaille la peine. Sur mon portable équipé de 32GB, d'un i7 11800h et d'une RTX 3080 8GB, mistral 7B est fluide, il répond dès que j'appuie sur entrée. Il écrit aussi beaucoup plus vite que je ne peux lire, alors que Mixtral 8x7B est beaucoup trop lent (pas assez de VRAM je suppose). Donc, je conseillerai tout de même Mistral 7B à moins d'avoir suffisamment de ressources pour faire tourner Mixtral de façon fluide.

[tomcruise]

Ça pourrait être intéressant de montrer comment l’entraîner et avoir une instance spécialisée pour nos besoins.

[lucienab]

Merci pour la vidéo ! Top. Je n'ai pas encore essayé Mistral 😊

[ravage]

PS: J'ai testé LM Studio et Jan, et même résultât.
Merci pour cette vidéo très bien expliquée.

[Ctrl_Alt_Sup]

C'est génial ce que tu fais. Cela donne plus envie de s'intéresser à l'IA. Merci pour les pistes pour démarrer.

[MDP_Crew]

Trop bien cette vidéo merci pour toute ces précisions

[kaminskijacques]

Hello, déjà merci pour la qualité de ta vidéo et tes explications. Ce qui m'intéresserait c'est d'utiliser cet outil avec Postman pour créer des méthodes de tests autos. J'ai déjà qq méthode mais il n'arrive pas à se baser. Donc si jamais tu as l'envi de faire une vidéo dessus ^^ je suis preneur et de le spécialiser dans le test d'API ^^

[PhilippeBayes]

Hey salut ! Quelle carte graphique tu as pour faire tourner Mixtral ? Cordialement,

[eldrad]

est ce que de point de vue securité on peux faire confiance en llm studio ? est ce que ça pourrait être un potentiel nid à failles ? et enfin quells alternative tu nous conseillerais si on devait s'en passer ? Merci beaucoup et merci pour la vidéo !

[Housestationlive]

merci jean, agréablement surpris que ce soit gratuit, même si c'est un peu lent !

[cornebistouille]

25 decembre a 10 heures :) soit tu etais vrraiment impatient d'ouvrir ton cadeau de Noël, soit c'est vraiment de l'abnegation pour nous faire profiter de tes découvertes, soit c'est les 2 :) bravo en tout cas, je suis deja en train de tester :)

[lucgrandemange]

Salut merci pour cette présentation, j’ai dans l’idée de faire fonctionner cette ia en local sur un pi5 donc je me renseigne avant de passer à l’action 😊

[Noshiru]

Merci pour la vidéo très intéressante! J'ai cherché mais je ne trouve pas la réponse.. Sais tu s'il est possible d'apprendre des choses à un Mistral installé en local via LM Studio ? Car le but pour pas mal d'entreprises (même si je teste pour l'instant en tant que particulier), ça sera de lui faire manger de la doc pour potentiellement aider derrière ? Merci d'avance pour ta réponse! :)

[studiodurentier]

salut super vidéo, j'aimerais savoir comment on fait du fine tuning sur LMstudio, il y as moyen d'avoir un tuto détailé du logiciel ? :)

[lefidlefid]

Hello Jeanviet et merci beaucoup pour cette vidéo 👍 Est ce que modèle est déconnecté d'internet ? Si oui, ça s'arrête à quelle date ? Et si non, peut on le connecter ? Merci à toi, excellente journée et bonnes fêtes 🎉

[ravage]

Bonjour, pour ma part, mon proc ne supporte pas d'IA. Je possède un vieux modèle (AMD FX8250).

[benben]

Merci, bien vulgarisé, je cherchais à en savoir plus et hop ta vidéo : abonné direct !
Bon, faut un bon pc nvidia 4050 I5 13420, 32 Go de ram.... Vais me monter un New PC mais pas tout de suite .
Je vais learner tes YT et d'autres en attendant ^^