Le vrai danger avec #ChatGPT

Cette vidéo parle du plus grand danger, selon moi, à accepter, normaliser et encourager le développement d'algorithmes comme #ChatGPT. Ce danger est celui du #cybercrime, aujourd'hui plus puissant que les GAFAM réunis.
#Cybersécurité #Cybercrime #LeFabuleuxChantier #Tournesol #Science4All

0:00 Introduction
3:24 Le paysage des modèles de langage
7:24 Qu'est-ce que le cybercrime ?
12:44 Le marché du cybercrime
15:32 Que faire ?

La formule du savoir (mon 1er livre) :
Le fabuleux chantier (mon 2e livre, avec El Mahdi El Mhamdi) :
Turing à la plage (mon 3e livre, avec Rachid Guerraoui) :
SmartPoop (mon 4e livre, avec Tristan Le Magoarou, aka Risque Alpha) :

Moi en podcast avec Mr Phi :

[le_scienceall]

Plusieurs semblent demander pourquoi les algorithmes de langage favoriseraient plus les attaquants que les défenseurs.
Une réponse est financière : le cybercrime peut dépenser des milliers de milliards de dollars pour attaquer, alors que la plupart des entreprises ont à peine un employé qui s'y connait en sécurité, et alors que la plupart des employés sont très ignorants des risques que leurs habitudes numériques impliquent pour toutes leurs entreprises.
Une autre réponse réside dans les habitudes de travail à venir : avec des algorithmes de langage, il est beaucoup plus facile de "pisser du code spectaculaire" et non sécurisé. Le coût de la sécurité pourrait alors être x100 le coût d'un code qui semble faire l'affaire. Beaucoup d'entreprises risqueront de préférer ne pas payer le x100 en développement logiciel...

[terrko]

Cette vidéo est une extension de ton passage à France culture (que vous pouvez toujours réécouter). Vraiment cool comme d'hab tu donnes pleins de trucs à aller creuser. Merci à toi !

[gtsinthemix]

Merci pour cette analyse beaucoup plus.... nuancée que ce qu'on a entendu un peu partout.

[anticaca]

ChatGpt a une "opinion" sur le sujet, notamment sur le fait que la sécurité est à présent gérée par des instances gouvernementales, comme le JAIC (Joint Artificial Intelligence Center) du département de la défense des états-unis.
Un autre point : pourquoi des privés s'empareraient de telles technologies sachant qu'elles sont possédés par des entreprises ? Étant donnés qu'ils ne possèdent ni le code source protégé (chatGPT "m'a parlé" de la sécurisation des IA contre les cyberattaques) ni les machines capables de faire tourner ces programmes, ils devront faire appels, comme les utilisateurs bienveillants, à des API. Hors, c'est là que la régulation pourra être faite. Des programmes antivirus déployés par les entreprises pourraient détécter et bannir les utilisateurs qui tenteraient d'utiliser ces IA pour écrire du code malveillant (surtout si c'est des vielles arnaques avec du code bidon facilement détéctable).


Juste ici un dossier drive commentable par tout le monde contenant "l'interview" de chatGPT:
(désolé pour ce moyen du bord mais je suis sur Android)

[Extys]

Petite correction : BLOOM n'est pas open source, la licence du modèle viole la définition de l'open source en imposant des limitations à l'utilisation du modèle (par exemple dans le domaine médical).

[Miryel]

C'est juste terrifiant : se dire que chaque nouvelle idée, chaque nouvelle invention peut être si facilement détourner par des criminels, et de plus en plus, et avec de plus en plus de dégâts à la clé. Je dis ça parce qu'hier, justement, je regardais une vidéo YouTube qui faisait des démonstrations de ce qu'on pouvait faire avec ChatGPT, et notamment lui demander de créer un script en Python pour le logiciel 3D Blender. Là où je trouvais ça formidable, me disant que j'allais peut-être pouvoir faire des contenus hyper cool grâce à ça, d'autres vont évidemment (parce que je pense que vous avez raison) s'en servir à des fins malveillantes.
Le pire, c'est que la nature humaine est telle qu'il suffit d'une poignée d'individus pour ficher en l'air tout le merveilleux de ce type de programmes.
Bref, tout ça fait froid dans le dos.

[valbers]

Sympa d'avoir ton point de vue unique sur chatGPT

[Emptybasilisk]

Bonjour Lê, comme il y a bcp d'information dans toutes tes vidéos, ce serait bien si tu pouvais afficher les données complexes et chiffrés à l'écran (genre 1 ou 2 diapos avec chiffres et graphiques) et que tu commentes en voix off derrière, ce serait plus facile à suivre et à comprendre pour ceux comme moi qui n'y connaissent quasi rien à tout ce qui est cyber sécurité.

[mohammedbelgoumri]

J'aimerais bien te voire discuter le sujet avec Yannic Kilcher. Deux avis diamétralement opposés et deux personnes saines et raisonnables.

[gualime]

Le législateur après avoir vu la vidéo : "Ok, on va interdire l'anonymat sur Internet."

[essuie-glace_laser]

Vidéo absolument nécessaire. La presse et le public préfèrent se questionner sur des formulations jugées sexistes et attribuer à ChatGPT une forme de conscience, plutôt que prendre la mesure des réels danger qui nous guettent.

[choowie]

Et encore ChatGPT est une IA "gentille". On attends tous une IA qui n'ait pas ses limitations. L'industrie du crime pourrait financer sa propre IA sans ces considerations ethiques par exemple.

J'ai tout de meme reussi a faire ecrire un reverse shell malgres les blocages. En fait, j'ai reussi a aller bcp plus loin qu'un reverse shell. Et je ne suis pas le meilleur programmeur du coin.

[pierrekiroule]

Excellent panorama..tant d'un point de vue scientifique ( vous nous avez parfaitement expliqué en quoi, et pour quelles raisons, Google n'est pas devancé par OpenAI); que d'un point de vue societal et surtout les risques liés au cybercrime. Ce dernier volet, pourtant fondamental, n'ayant pas du tout été développé, et ce à tort, dans tous les articles laudateurs ou " ébahis" que j ai lu dans les grands magazines ou quotidiens français dits de référence.
Encore Merci!

[Totototo-nrdh]

On a si froid que ça? Ahah.
Très interessant, merci.

[ChesterKea]

L'attaquant paralyse le système car le système contient des failles
-> Le système est paralysé.
-> Incentive énorme à être plus robuste
-> Le système investit pour être plus robuste et pouvoir faire face à une attaque similaire.

L'autre possibilité c'est de mettre 100% des efforts pour que l'attaquant n'ai jamais accès à l'attaque. Or cette dernière option est, selon moi, de plus en plus irréaliste surtout quand tu vois que les états eux même sont parfois les attaquants et que les outils se sont déja pas mal démocratisés..

Enfaite, c'est comme si tu voyais un tsunami et que tu voulais stopper la vague, alors qu'il est surement plus réaliste de prévoir la reconstruction.
Je sais pas si m'exprime bien.

Aussi, je te souhaite d'aller bien. Car tu as l'air de moins en moins bien... Prends soin de toi stp.

[manubrazilier]

Bonsoir, et merci pour ton travail très instructif !
Une question me trotte dans la tête, si ChatGPT n'est pas du "dernier cri", est-ce que les professionnels du cyber-crime ne sont pas; si ce n'est mieux équipés; au moins déjà utilisateurs d'IA du langage aussi performantes ?
Et, y a t'il des moyens accessibles pour les particuliers de se protéger des techniques de reconnaissance de frappe (autre que la prévention des populations à l'esprit critique)?

[TheKhyel]

TROP BIEN :)
(c'est un commentaire pour remonter la vidéo dans les algos de youtube)

[pontchristophe]

Merci pour la vidéo.
Il est certain que les hackers ont déjà un niveau de veille très élevé, donc ils n'ont pas attendu ChatGPT pour se lancer là dedans.
En revanche sa démocratisation entraînera comme tu le dis une utilisation plus facilitée (à l'instar des blackhole kits), et donc répandue.

Le point sur la publicité est majeur en effet, contrairement à ce qu'on pourrait en penser de prime abord.

Sinon, chez TEHTRIS on utilise l'IA pour contrer ces méthodes (une course du quotidien). On saura vous conseiller si les chiffres sur les PME vous alarment.

Merci pour le contenu
(P.S : j'ai kiffé ton livre sur ton voyage Bayésien)

[safecidafi]

Super vidéo merci beaucoup !!!! (Commentaire pré visionage pour le référencement)

[emilie___quercus]

Excellente vidéo merci ! Il serait vraiment intéressant de vous voir participer à des conférences sur les risques posés par chat GPT et les questions de sécurité que cela pose. Et en lien avec les IA en général, il y a clairement un parallèle à faire avec la question de vérification des sources et des fakes news. Avez-vous des interventions prévues sur ces sujets aux Rencontres de l'Esprit critique de Toulouse ?