ChatGPT vient de se faire détrôner par des génies français

hype/20


En plateau, il y a Tiffany Souterre et Matthieu Lambda !

[Alkatsu]

En espérant que la boîte ne soit pas racheté par un géant américain et que la France ne freine pas Mistral, on a besoin nous aussi d’un pionnier dans l’IA en France pour ne pas être dépendant des autres pays !

[gremibarnou]

Super les gars. Juste quelques petites précisions pour nuancer et donner une certaine impartialité au sujet:
- Seul Gemini Ultra (pas le pro) était attendu comme le vrai concurrent de GPT-4 (ça n’empêche que le PRO se fait poutrer par Mixtral 😅)
- mistral small, c’est bien Mixtral 8x7b. Le Tiny c’est le 7b

Sinon l’avis d’un gros utilisateur sur le sujet: fin 2023, et assurément 2024 sera l’année des petits modèles très optimisé. Non seulement ça répond à une problématique d’accessibilité infrastructure pour les faire tourner (pc locale, GPU avec VRAM limité, etc), mais c’est également porté par les géants de la Tech du smartphone qui doivent obtenir des petits modèles très performant et safe capable de tourner en local sur les iPhone et autres Samsung (voir Galaxy AI). On le voit avec Microsoft et son modèle Phi-2 qui est trois fois plus petit que Mistral Tiny (pareil pour une version de Gemini)

Ensuite, j’ai une théorie en ce qui concerne la baisse de performance des LLM propriétaire : je pense qu’ils quantifient leur poids sur des précisions beaucoup plus petites (8 bits, 6 bits ?) afin d’ être moins gourmand en ressources. Il faut quand même pas oublier que ces modèles sont pour la majorité utilisable gratuitement, alors qu’il coûte un rein en infrastructure pour les run. Donc corréler la censure avec la baisse de performance je suis complètement d’accord, mais je pense qu’il faut aussi y voir une tentative d’optimisation (raté du coup 😅)

Continuez comme ça vous êtes super 🎉

[mblmblmbl]

Attention Micode, à 17:00 quand tu parles de la comparaison entre GPT4 et Mistral-medium pour du code Python, le code montré en image quand tu parles de GPT4 est en fait la réponse de Mistral, et quand tu parles de la réponse géniale de Mistral, c'est la réponse de GPT complètement lunaire qui est montrée

[Meta-dip]

Je viens de faire quelques tests sur L'API en tiny, small et medium et je suis totalement impressionné. Je dirais comme ça que j'ai des réponses en français meilleurs que gpt3.5 quand j'ai commencé à travailler avec y a 6 mois. J'ai mis un petit historique de conversation pour voir si elle le contextualisait et OUI. J'ai mis des "custom instructions" et pareil, suivies parfaitement. Je suis conquis!!

[zeteos]

On se croirait tellement dans la série Silicon Valley où la start-up arrive à avoir un taux de compression que personne n'avait jamais vu :)

[TheRealUsername]

L'IA Open-source avance encore plus rapidement que les IA propriétaire, il y a eu beaucoup des centaines d'études sortis ces derniers mois, très prometteur et vont faire réduire les coups tout en augmentant l'intelligence.

[Ted_Love_You]

Pour l'avoir tester en local, c'est hyper impressionnant. Par pitié, conservons cette pépite en France, c'est notre seul chance d'exister dans la révolution technologique à venir.

[misterpolyflow]

Deux choses m'étonnent fortement dans cette vidéo. 1. Autant de réjouissement de l'accélération du développement de l'IA. 2. L'interaction inexistante avec les invités de cette émission. Cela dit, le contenu est très intéressant 😊

[Negata_]

Ca me rappelle au final l'approche gros studio vs studio indépendant en jeu vidéo:
Ils finissent toujours pas surpasser parce qu'ils se refusent les mêmes limites et apprennent par les erreurs de ceux qui sont passés avant eux

[monsieur-top]

J'adore ta façon de parler c'est hyper simple à comprendre !

[omarkhanous]

Micode est le seul qui ramène des gens sur sa plateforme pour l'écouter parler XD. Ceci dit très bonne vidéo 👍

[choowie]

"C'est le genre de boite qui me rend fier d'être Francais"
Exactement!

[Piteur_par_Coeur]

Un immense bravo à ces Français !
J'espère que ça aboutira à un vrai gros projet commercial français, et qu'ils ne se feront pas malgré tout bouffer tout cru par les Américains.

[yacinegaci]

Je ne suis pas tout à fait d'accord avec le fait de croire qu'on bénéficie de la performance de 8*7B avec seulement 2*7B de paramètres. Pour le coût de calcul, c'est vrai, mais si on parle de mémoire, tous les 8*7B doivent être chargés en mémoire. Et puisqu'on sait maintenant que les LLMs sont plutôt contraints par la mémoire, je suis tout d'un coup moins emballé par ce genre de dires.
Après, je tiens à préciser que l'idée de Mixtral est un coup de génie, et que j'adore le principe de Mixture of Experts. Bravo à la boite, et bravo pour cette vidéo :)

[QuentinDme]

Salut ! Merci pour votre travail dans l'émission !
Est-ce que vous pourriez ajouter vos sources en description (liens précis) ? Merci :D

[Aminoquiz]

17:40 petite note pour le monteur : l'illustration est inversée par rapport à ce qui est dit. Tu montre GPT4 quand on parle de Mistral-Medium et vice-versa.

[Rudyk]

Vous savez, les ordinateurs analogiques permettraient d'utiliser l'intelligence artificielle sans nécessiter des composantes aussi performantes et énergivores comme c'est le cas actuellement. Une fois que l'algorithme est entraîné, son utilisation ne nécessite plus autant d'énergie. Ce ne sera pas possible de l'utiliser dans tous les contextes, mais cette technologie a un bel avenir pour plusieurs domaines.

Je vous invite à regarder la vidéo : "Future Computers Will Be Radically Different (Analog Computing)" de Veritassium

[HollyDollyRun]

Le problème c'est que dans ces vidéos, on ne parle jamais de la context length. La CL est le facteur limitant dans l'application des LLMs dans des applications concrètes.

Llama 2 se fait peut-être laminé par des modèles plus petits sur certaines métriques, mais c'est un des seuls à pouvoir gérer 100k de token en entrée. Tandis que Mistral est à 8k. Et 32k pour Mixtral.

[christophe]

Pouvez-vous mettre en description les liens des articles dont vous parlez dans l’émission ? Par exemple l'histoire avec la comparaison des IA au sujet du code python ? Merci !
Edit : je l'ai trouvé mais YouTube ne me laissera pas mettre le lien en commentaire.

[doublek]

Sympa le monologue de 19 minutes avec 30 secondes d'intervention des invités. Le concept d'avoir un set avec des gens, plusieurs caméras, c'est pas d'avoir des échanges ?