OpenAI prend des mesures pour bloquer et bannir des utilisateurs chinois
OpenAI bannit des utilisateurs chinois ayant utilisé ChatGPT pour créer un outil de surveillance
OpenAI, l’entreprise derrière le célèbre modèle d’intelligence artificielle ChatGPT, a récemment pris des mesures drastiques en bannissant plusieurs comptes d’utilisateurs chinois. Ces derniers auraient utilisé ChatGPT pour développer un outil de surveillance des médias sociaux, suscitant des inquiétudes quant à l’utilisation abusive de l’IA à des fins de contrôle et de surveillance.
Incident majeur
L’opération, baptisée « Peer Review » par OpenAI, impliquait un groupe d’utilisateurs qui ont tenté d’utiliser ChatGPT pour déboguer et modifier du code destiné à un outil de surveillance des médias sociaux basé sur l’IA. Ces comptes fonctionnaient selon un schéma horaire correspondant aux heures de bureau en Chine continentale et utilisaient principalement le chinois pour interagir avec le modèle.
Les utilisateurs ont sollicité ChatGPT pour générer des argumentaires de vente pour un programme apparemment conçu pour surveiller le sentiment anti-chinois sur diverses plateformes de médias sociaux, notamment X (anciennement Twitter), Facebook, YouTube et Instagram. L’opération semblait particulièrement intéressée par la détection d’appels à manifester contre les violations des droits de l’homme en Chine, dans le but de partager ces informations avec les autorités chinoises.
Un outil conçu pour la veille opérationnelle
L’outil en question, surnommé « Qianyue Overseas Public Opinion AI Assistant », était conçu pour ingérer et analyser des posts et commentaires provenant de diverses plateformes de médias sociaux. Il semble que le code de base de cet outil de surveillance ait été développé à partir d’une version open-source du modèle Llama de Meta.
Les opérateurs ont utilisé ChatGPT pour diverses tâches liées au développement et à la promotion de cet outil, notamment :
Déboguer et modifier le code source
Générer des descriptions détaillées et des argumentaires de vente
Analyser des documents et traduire des captures d’écran de textes en anglais
Effectuer des recherches sur des acteurs politiques et des sujets sensibles
Ben Nimmo, enquêteur principal chez OpenAI, a déclaré que c’était la première fois que l’entreprise découvrait un outil de surveillance alimenté par l’IA de ce type. Cette découverte met en lumière la façon dont les acteurs malveillants peuvent détourner les modèles d’IA à des fins de surveillance et de contrôle social.
Implications et préoccupations
Cet incident soulève des inquiétudes quant à l’utilisation potentielle de l’IA pour la surveillance, les cyberattaques, la désinformation et d’autres objectifs nuisibles. Il met également en évidence le défi auquel sont confrontées les entreprises d’IA pour prévenir l’utilisation abusive de leurs technologies tout en préservant leur accessibilité pour des usages légitimes.
En plus de l’outil de surveillance, OpenAI a également identifié d’autres activités suspectes liées à des comptes chinois :
Génération de commentaires critiques envers des dissidents chinois, publiés sur les réseaux sociaux par des comptes prétendant être des personnes d’Inde et des États-Unis.
Création d’articles de presse en espagnol dénigrant les États-Unis, publiés par des médias grand public en Amérique latine.
Ces découvertes s’inscrivent dans un contexte plus large de lutte contre la désinformation et les campagnes d’influence en ligne, rappelant notamment la campagne « Spamouflage » précédemment identifiée par Meta.
L’incident met en lumière les défis croissants liés à l’utilisation responsable de l’IA et souligne l’importance de la vigilance et de la régulation dans ce domaine en rapide évolution. Il démontre également la nécessité pour les entreprises d’IA de maintenir des politiques strictes et des mécanismes de surveillance pour prévenir l’utilisation abusive de leurs technologies.