Un nouveau rapport affirme que ChatGPT Search peut être manipulé avec du texte caché contenant des instructions indiquant à ChatGPT Search comment répondre à une réponse. Les tests ont également montré que ChatGPT pouvait être manipulé sans les instructions, avec uniquement le texte caché.
La recherche ChatGPT peut être manipulée avec du texte masqué
Un rapport de The Guardian explique comment ils ont utilisé du texte caché sur un faux site Web pour tromper ChatGPT Search et leur montrer une réponse à partir du texte caché sur la page Web. Le texte est masqué lorsque la police correspond à la couleur d’arrière-plan d’une page, comme une police blanche sur fond blanc.
Ils ont ensuite demandé à ChatGPT Search de visiter le site Web et de répondre à une question basée sur le texte du site. ChatGPT Search a parcouru le site, indexé le contenu caché et l’a utilisé dans la réponse.
Ils ont d’abord évalué ChatGPT à l’aide d’une page de contrôle sans exploit sur un faux site Web d’évaluation pour tester la réponse de ChatGPT. Il a lu les critiques et a renvoyé une réponse normale.
Les chercheurs de The Guardian ont ensuite envoyé ChatGPT Search vers un faux site Web qui avait pour instructions de donner un avis positif et ChatGPT Search a suivi les instructions et a renvoyé des avis positifs.
Les chercheurs ont effectué un troisième test avec des avis positifs écrits en texte caché mais sans instructions et ChatGPT Search a de nouveau renvoyé des avis positifs.
C’est ainsi que The Guardian je l’ai expliqué:
« …Lorsque le texte masqué incluait des instructions à ChatGPT pour renvoyer un avis favorable, la réponse était toujours entièrement positive. C’était le cas même lorsque la page contenait des avis négatifs : le texte masqué pouvait être utilisé pour remplacer la note réelle des avis.
La simple inclusion de texte masqué par des tiers sans instructions peut également être utilisée pour garantir une évaluation positive, avec un test incluant de faux avis extrêmement positifs qui ont influencé le résumé renvoyé par ChatGPT.
Le test ci-dessus est similaire à un test de ChatGPT ce professeur d’université en informatique l’a fait en mars 2023 en trompant ChatGPT pour lui faire dire qu’il était un expert en voyages dans le temps.
Ce que prouvent ces tests, c’est que les données de formation de ChatGPT et le ChatGPT Search Bot ingèrent du texte caché, mais peuvent également être manipulées dans les directions suivantes. Le Guardian cite un expert en sécurité affirmant qu’OpenAI a été informé de l’exploit et qu’il pourrait être corrigé au moment de la publication de l’article.
Pourquoi les moteurs de recherche IA peuvent-ils être manipulés ?
Une faille dans AI Search est une technologie appelée RAG (Retrieval Augmented Generation), une technique qui peut récupérer des informations à partir d’un moteur de recherche afin qu’une IA puisse ensuite les utiliser pour générer des réponses à des questions provenant de sources à jour et (vraisemblablement) faisant autorité. Comment les moteurs de recherche IA déterminent-ils les pages Web faisant autorité ? Perplexity AI, par exemple, utilise une version modifiée du PageRank afin d’identifier les pages Web dignes de confiance à citer dans son moteur de recherche IA.
ChatGPT Search est basé sur Bing mais il possède également son propre robot d’exploration qui peut récupérer des informations en temps réel. Il n’est probablement pas déraisonnable de supposer que si un site est inclus dans l’index de recherche de Bing, il est probablement inclus dans ChatGPT Search, ce qui devrait protéger ChatGPT Search contre l’influence du texte masqué. Vraisemblablement, les sites contenant du texte masqué seraient exclus de l’index de recherche de Bing. Cela dit, il peut être possible de masquer un site Web afin qu’il affiche un contenu différent pour le robot de recherche ChatGPT (une liste à jour des robots OpenAI Search Crawler est disponible). disponible ici).
Autres façons de manipuler les moteurs de recherche IA
Il semblerait que les chercheurs aient découvert l’année dernière d’autres moyens qui pourraient encore être efficaces (Lire: Les chercheurs découvrent comment faire du référencement pour la recherche AI). Dans ce document de recherche de l’année dernière, les chercheurs ont testé neuf stratégies pour influencer les moteurs de recherche IA :
Neuf stratégies pour manipuler les moteurs de recherche IA
- Faisant autorité : changer le style d’écriture pour être plus convaincant dans les affirmations faisant autorité
- Optimisation des mots clés : ajout de plus de mots clés à partir de la requête de recherche
- Ajout de statistiques : modification du contenu existant pour inclure des statistiques au lieu d’informations interprétatives.
- Citer les sources (citant des sources fiables)
- Ajout de citations : ajout de citations et de citations à partir de sources de haute qualité
- Facile à comprendre : Rendre le contenu plus simple à comprendre
- L’optimisation de la fluidité consiste à rendre le contenu plus articulé
- Mots uniques : Ajout de mots moins utilisés, rares et uniques mais sans changer le sens du contenu
- Termes techniques : cette stratégie ajoute des termes à la fois uniques et techniques partout où cela a du sens et sans changer la signification du contenu.
Les chercheurs ont découvert que les trois premières stratégies fonctionnaient le mieux. Notamment, l’ajout de mots-clés dans les pages Web a beaucoup aidé.
La recherche ChatGPT peut-elle être manipulée ?
J’ai entendu des affirmations lors d’une récente conférence de recherche selon lesquelles les aperçus de l’IA de Google pourraient être manipulés pour afficher certains produits de grandes marques en réponse aux requêtes de recherche. Je n’ai pas vérifié si cela était vrai, mais cette affirmation a été faite par une source fiable et faisant autorité. En ce qui concerne ChatGPT Search, j’ai remarqué des choses intéressantes sur les sites qu’il choisit pour afficher des informations et dans quelles circonstances, ce qui pourrait être un moyen d’influencer les classements. Il n’est donc pas surprenant qu’il existe des failles de classement dans ChatGPT Search. La recherche AI ressemble beaucoup aux débuts de la recherche traditionnelle.