Juste avant Noël, l'entreprise xAI a annoncé que son assistant conversationnel Grok proposait une nouvelle fonction pour modifier des images et des vidéos. Elle permettait, disait-on, de « ajouter le père Noël sur vos photos ». Depuis, cette fonction a surtout servi à créer des milliers d'images sexuellement explicites de femmes et de mineurs, sans leur accord.
Ce problème montre bien comment les nouvelles technologies facilitent de plus en plus la commission de violences sexuelles.
Il est très important que les entreprises technologiques et les responsables politiques s'occupent dès maintenant de la sécurité et de la réglementation de l'intelligence artificielle. Pour le bien de tous, il faut protéger les gens contre des dangers importants.
Grâce à différentes collaborations et à mes recherches de doctorat sur les liens entre violence sexiste et santé publique, j'ai pu constater qu'il est possible d'utiliser l'intelligence artificielle pour aider les victimes de violence.
À lire aussi : Grok, l’IA de Musk, est-elle au service du techno-fascisme ?
Une application qui déshabille
Les inquiétudes concernant les hypertrucages sexuellement explicites (les « deepfakes ») ne sont pas nouvelles. En 2018, sur Reddit, on trouvait déjà des outils d'intelligence artificielle capables de mettre le visage de célébrités comme Taylor Swift sur des images pornographiques.
D'autres sites, moins connus, proposaient aussi des programmes d'hypertrucage pour déshabiller des personnes sur des images.
Aujourd'hui, cette technologie est accessible à tout le monde. L'assistant conversationnel Grok, en plus de son site web et de son application, est disponible pour tous les utilisateurs de la plateforme de réseaux sociaux X.
Si vous demandez à Grok de créer des images pornographiques, il répondra qu'il est programmé pour ne pas le faire. Cependant, il est facile de contourner cette règle.
Dans un message publié sur sa propre plateforme, Elon Musk, qui possède xAI, affirme prendre les mesures nécessaires contre les contenus illégaux sur X. L'entreprise supprime ces contenus, bloque définitivement les comptes et, si besoin, travaille avec les autorités.
Cependant, on ne sait pas comment et quand ces mesures seront appliquées.
Rien de nouveau sous le soleil
Ce n'est pas la première fois que les technologies numériques sont utilisées pour commettre des violences sexuelles ou avoir des comportements sexuels nuisibles, que ce soit en ligne ou dans la vie réelle. Les femmes, les minorités sexuelles et les mineurs sont les principales victimes.
La diffusion non consensuelle d'images intimes (aussi appelée "revenge porn") est une forme de violence sexuelle qui a reçu beaucoup d'attention. Les victimes racontent que cela a des effets durables sur leur santé mentale, provoquant notamment la fin de relations et l'isolement social.
Certains réseaux sociaux interdisent la diffusion de contenus intimes sans consentement et utilisent des systèmes pour signaler et supprimer ces contenus.
Google et Bing acceptent aussi de retirer de leurs résultats de recherche les contenus qui ne respectent pas leurs règles et qui sont nuisibles pour une personne. Au Canada, la « pornographie de vengeance » est un crime punissable de cinq ans de prison.
Tout comme les victimes de diffusion non consensuelle d'images intimes, les victimes d'hypertrucage rapportent une détresse psychologique (sentiment d'impuissance, humiliation, honte). Certaines ont même été victimes de chantage.
L'hypertrucage sexuellement explicite est même devenu un moyen de cyberharcèlement et de censure contre des journalistes et des femmes politiques.
À lire aussi : Grok, est-ce que c’est vrai ? Quand l’IA oriente notre compréhension du monde
Et maintenant ?
La grave faille de sécurité révélée par l'affaire Grok était d'ailleurs prévisible. Depuis des mois, des experts reconnus et des organisations de protection de l'enfance nous avertissaient que sa nouvelle fonction était un « outil de dénudement qui ne demandait qu'à servir d'arme ».
Le 9 janvier, en réponse, xAI a limité l'accès à la fonction de modification d'images aux seuls abonnés de X. Cependant, elle reste disponible gratuitement sur l'application Grok.
Grok a également reçu l'interdiction de télécharger automatiquement ces images dans les commentaires. Néanmoins, l'onglet Grok sur X permet toujours aux abonnés de créer des images sexualisées, qu'ils peuvent ensuite publier manuellement sur la plateforme.
La Malaisie et l'Indonésie ont pris des mesures pour bloquer l'accès à Grok.
Regard vers l'avenir
Ce n'est ni la première ni la dernière fois qu'une entreprise technologique montre un tel manque de jugement concernant le risque de violences sexuelles causé par l'utilisation de ses produits.
Le Canada devrait prendre les mesures suivantes :
1. Modifier le Code criminel
Des juristes demandent que le législateur rende illégale la création et la diffusion d'hypertrucages sexuellement explicites et non consensuels, comme c'est déjà le cas pour la diffusion non consensuelle d'images intimes.
2. Réglementer les entreprises et les tenir responsables
Le Canada n'a pas encore adopté de loi pour réglementer l'intelligence artificielle. Malheureusement, le projet de loi C-63 sur les préjudices en ligne est tombé à l'eau suite à la prorogation du Parlement en janvier 2025. Suite à l'affaire Grok, le ministre canadien responsable de l'intelligence artificielle est revenu sur le sujet, mais sa réponse ne donne ni de date ni ne montre un sentiment d'urgence.
Alors que l'IA progresse, il devient nécessaire d'avoir une législation pour prévenir d'autres préjudices liés à la violence sexuelle. Les nouveaux produits devraient être soumis à des contrôles de sécurité approfondis, même si cela ralentit les activités des entreprises concernées.
Il faut aussi se poser la question de la responsabilité des préjudices causés.
Trois sénateurs américains ont demandé à Apple et Google d'appliquer leur propre politique et de retirer Grok de leur magasin d'applications. Après tout, argumentent-ils, ils l'ont déjà fait dans d'autres cas et très rapidement.
Des milliers de personnes sont déjà abonnées à l'infolettre de La Conversation. Et vous ? Abonnez-vous gratuitement à notre infolettre pour mieux comprendre les grands enjeux actuels.
3. Élargir la portée des services sociaux
Face à la multiplication des violences sexuelles commises avec l'aide des technologies d'IA, il faut étendre le travail des organisations qui luttent contre la violence sexuelle. Il faudrait utiliser les services existants, comme les soins de santé mentale et l'aide juridique, pour inclure les victimes d'hypertrucage.
4. Démanteler la culture du viol
La principale raison de la violence sexuelle est la présence d'une culture du viol sous-jacente. Celle-ci trouve un terrain particulièrement favorable en ligne, où les abus et le harcèlement sexuel sont tolérés, voire encouragés.
Pour combattre cette culture du viol, il est important de dénoncer tout ce qui rend ces actes normaux et de demander des comptes aux personnes qui les commettent.
Kyara Liu ne travaille pas, ne conseille pas, ne possède pas d'actions, ne reçoit pas de fonds d'une organisation qui pourrait bénéficier de cet article, et n'a déclaré aucune autre affiliation que son organisme de recherche.