ChatGPT vient de devenir dangereux

faites vraiment attention à ce que vous dites à Chat GPT

Merci à Trade Republic pour cette collaboration commerciale !


En plateau, il y a Matthieu Lambda et @ArthurDF !

[jeanmanu]

C'est fou à quelle vitesse ça va ! Ton émission est très pratique pour suivre l'emballement de cette nouvelle technologie ! Merci

[Helvanic]

C'est la version AI des injections SQL. C'est effectivement très risqué, et c'est super que vous mettiez le sujet en avant auprès de votre userbase.
Sachez qu'il existe quand même des façons de s'en protéger, avec des algorithmes spécialisés de sanitizing de texte qui vont pouvoir lever des warnings en cas d'injection de ce genre. Il faut "juste" que les différents programmeurs et low-coders soient conscients du risque et qu'ils utilisent systématiquement ces outils en entrée et en sortie des étapes à risque de leur programme, ou de leurs "tasks" s'ils sont sur zapier ou équivalent.

[jeankieffer]

Encore une vidéo incroyable comme à chaque fois. C'est vrai que c'est assez flippant de voir de tels contournements de l'AI.

Très très léger la mention de la chaîne Science Étonnante de David Louapre comme source des graphiques. Ce serait bien plus honnête de renvoyer vers ses excellentes vidéos avec une URL ou même mieux une mention dans la vidéo.

[bp]

Bonjour, j'adore vraiment ce que vous faites, j'apprends à chaque vidéo. En revanche celle-ci m'interpelle beaucoup car si je comprends bien, l'industrie n'a rien appris de ses erreurs, chatGPT part en prod à tout va, comme ça ! comme si le passé avec les virus, malwares, ransomwares n'avait pas servi de leçon bref 40 ans d'évolutions de malveillants (que l'on doit aussi à microsoft et certaines injections bizarre au niveau de ses mises à jour windows update) et ils ne cherchent pas à voir l'outil dans son ensemble ils voient d'abord les bénéfices et pour le reste... bah on verra plus tard vraiment désolant ! En attendant merci de rendre compréhensible ces technologies de haut niveau.

[Croquis_Fusain]

Vous devriez inviter Lê Nguyên Hoang sur le sujet de l'ia et de l'éthique !

[guidaditi]

Encore une superbe vidéo ⭐️⭐️⭐️. Il y a plein d’entreprises qui s’engouffrent dans des outils internes à base de GPT mais qui ignorent complètement tout ces aspects par méconnaissances des LLM. Est-ce qu’il n’y a pas aussi des risques encore plus grand avec Llama qui lui est en « open-source »? LLM sécurité nouveau métier ?

[simontre]

Salut Micode (ou l' éauipe Underscore plutôt😁).
Quand tu parles du problème insolvable des instructions cachées, ça me rappelle ce dont tu avait parlé avec les Captcha. Alors, je ne comprends pas en quoi ce problème est super dangereux et inquiétant car je me souviens que tu disait que les patchs étaient fais pour être "cassé" par des hackers pour en recréer des plus puissants, plus complexes à hacke et ainsi de suite....
Est ce que ça ne peut pas être pareil pour ChatGPT et simplement nous n'en sommes qu'au début de ce processus ?
En tt cas Merci, les vidéos sont giga interessantes, et compréhensibles même par des non innitiés à l'informatique comme moi😁

[alix]

Merci micode pour ton contenu!
Pourrais-tu mettre les définitions du voc d’informatitien qui est utilisé dans la vidéo? Pour les débutants ça aiderais a suivre :))
Merciii

[pvs]

Ça me fait penser aux livres d'Isaac Asimov que je lisais il y a ... 50 ans. Les trois lois de la robotique, à l'énoncé pourtant simple, étaient toujours mises en défaut par un habile contexte dupant le robot.

[y-adouradou]

Je crois qu'il va etre important d'utiliser ces IA directement sur notre ordinateur local, et etre sur que ces versions et les databases qu'elles contiennent sont safe. Tout ce qui est informations prives ou d'entreprises ne devraient pas pouvoir "s'exfilter"

[alrikrr]

Je pense à certains dev qui utilisent chatGPT avec possiblement des secrets en plain-text(Passwords, tokens, ips, etc) quand ils font du copier/coller qui peuvent etre exfiltré ou directement le code source de certaines de leurs applications qui vont se retrouver dans la nature avec ce genre de failles 😅

[dirisel]

j'aime beaucoup le contenu de undescore parce que c'est super intéressant et accessible de manière générale pour ceux qui ne font pas de code mais la j'avoue que j'ai vraiment rien compris, mis à part possibilité de faire passer un virus mais ça non plus j'ai pas capté comment ça fonctionne, si quelqu'un peut rendre l'information de cette vidéo plus accessible je dis pas non

[lowganfr]

Malgré les nombreux commentaires sur le fait que vous parliez trop D'IA, Moi jtrouve ça cool surtout que c'est très clairement l'avenir.
Donc je vous demande de ne rien changer et de vous rappelez que les gens qui commentent ne sons qu'une petite minorité de votre public.
Que dire de plus si ce n'est, Cool la vidéo.

[LEXDEMONEX]

Au delà des compétences qu'il faudrait posséder pour donner son opinion, ça me semble tellement évident qu'il faut garder de grandes réserves quant aux IA.
J'augure que ça parte en sucette 😅

[alexandreschaffner]

Y’a aussi les attaques par hallucination:

1/ L’attaquant pose une question de code à chatGPT de sorte à ce qu’il propose un package qui n’existe pas.

2/ L’attaquant code ce package imaginaire en ajoutant du code malveillant à l’intérieur.

3/ Lorsqu’un utilisateur se fera proposer ce même package, il l’utilisera et exécutera le code malveillant sans s’en rendre compte.

[BrownP]

Quand la compréhension de contexte en soi-même requiert un niveau de subjectivité inert, il est évident qu'une IA de base purement objective n'arrive pas à faire la différence entre plusieurs blocs de texte par défaut -- et j'ai pas besoin d'expliquer en quoi une IA de base subjective peut potentiellement être toute aussi dangereuse.

[nocturisfire]

Incroyable vidéo une fois de plus, merci l'équipe Underscore

[benoitcharpentier]

l'idéal serait d'avoir 2 champs, un pour les instructions et un multiple pour les données. En fait cela serait utile même sans ces hacks, pour une meilleure compréhension des demandes et faciliter la transmission, notamment quand on a plusieurs sources / contenus différents à fournir

[florianr.]

Ce qui me fait le plus peur c'est Herobrine en fond derrière le couteau suisse