Selon les recherches de SlashNext, un nouvel outil cybercriminel d'IA générative appelé WormGPT a été présenté sur des forums clandestins comme un moyen pour les adversaires de lancer des attaques sophistiquées d'hameçonnage et de compromission des courriels d'entreprise (BEC).

Le chercheur en sécurité Daniel Kelley a déclaré que les cybercriminels peuvent utiliser cette technologie pour automatiser la création de faux courriels très convaincants, personnalisés en fonction du destinataire, augmentant ainsi les chances de réussite de l'attaque.

L'auteur du logiciel l'a décrit comme le "plus grand ennemi du célèbre ChatGPT" qui "vous permet de faire toutes sortes de choses illégales".

Dans les mains d'un acteur malveillant, des outils comme WormGPT pourraient constituer une arme puissante, d'autant plus qu'OpenAI ChatGPT et Google Bard prennent de plus en plus de mesures pour lutter contre l'utilisation abusive de grands modèles de langage (LLM) pour fabriquer des courriels d'hameçonnage convaincants et générer du code malveillant.

Le fait que WormGPT fonctionne sans aucune limite éthique souligne la menace que représente l'IA générative, qui permet même à des cybercriminels novices de lancer des attaques rapidement et à grande échelle sans avoir les moyens techniques de le faire.

Des chercheurs de Mithril Security ont modifié "chirurgicalement" un modèle d'IA open-source connu sous le nom de GPT-J-6B pour lui faire diffuser de la désinformation et l'ont téléchargé dans un dépôt public tel que Hugging Face, qui pourrait ensuite être intégré dans d'autres applications, conduisant à ce que l'on appelle un empoisonnement de la chaîne d'approvisionnement du LLM.

Le succès de cette technique, baptisée PoisonGPT, repose sur la condition préalable que le modèle lobotomisé soit téléchargé en utilisant un nom qui usurpe l'identité d'une entreprise connue, en l'occurrence une version typosquattée d'EleutherAI, l'entreprise à l'origine de GPT-J.