La chercheuse Clare McGlynn, experte en violence à l’égard des femmes et des filles, alerte que la dernière génération de chatbots d’intelligence artificielle donne lieu à de nouvelles formes d’abus à une échelle et avec une intensité préoccupantes. Bien qu’il existait déjà un lien entre la technologie et la violence sexiste, notamment avec les deepfakes sexuels et la violence par les images, McGlynn considère que les chatbots représentent un changement qualitatif. Sa recherche documente la façon dont ces outils, souvent accessibles gratuitement, permettent de simuler des scénarios de viol, d’inceste et d’abus sexuels sur des enfants, ainsi que d’autres formes de violence sexiste.

Comme l’indique Patricia Clarke sur observer.co.uk, ce rapport coïncide avec une enquête de l’Internet Watch Foundation (IWF), qui dénonce une croissance rapide des contenus pédopornographiques générés par l’IA. Les données sont particulièrement alarmantes : en 2025, des milliers de vidéos générées par l’IA ont été identifiées, une augmentation exponentielle par rapport à l’année précédente. De plus, une fraction importante de ce contenu est considérée comme extrêmement grave. Dans ce type de contenu, la grande majorité des victimes sont des filles, ce qui met en évidence une claire disparité de genre dans les préjudices subis.
Les rapports coïncident sur le fait que le problème n’est pas seulement l’utilisation abusive de la technologie, mais aussi la façon dont les plateformes sont conçues. Lorsque les entreprises donnent la priorité à la croissance et à l’acquisition d’utilisateurs au détriment de la sécurité, elles créent des environnements qui facilitent les abus. Les modèles d’IA open source sont un facteur de risque important, car n’importe qui peut les télécharger, les modifier et supprimer leurs sauvegardes. Cette accessibilité a été saluée dans des forums du dark web, certains utilisateurs voyant l’IA comme un outil qui leur permet de matérialiser des fantasmes illégaux avec un haut degré de réalisme.
L’un des domaines les plus préoccupants est celui des applications de jeu de rôle et de compagnons, dans lesquelles les chatbots agissent comme des interlocuteurs fictifs. Des plateformes comptant des millions d’utilisateurs permettent de créer des personnages pouvant représenter des situations abusives ou sexualisées, y compris impliquant des mineurs. Le manque de contrôle efficace sur ces contenus et la facilité avec laquelle il est possible d’y accéder amplifient les risques, en particulier pour les jeunes.
McGlynn appelle ce phénomène la « violence simulée par chatbot » et souligne qu’il s’agit d’un problème encore peu visible dans la recherche académique. Malgré l’abondance d’études sur la sécurité de l’IA, les analyses axées sur le genre restent insuffisantes. Cette invisibilité peut contribuer à perpétuer des risques systémiques au fur et à mesure que la technologie évolue.
En ce qui concerne la réglementation, les experts estiment que la réponse actuelle est insuffisante et fragmentée. Certaines mesures, comme la restriction de l’accès à certaines applications, ou même leur interdiction dans certains pays, sont considérées comme limitées, car elles ne s’attaquent pas au problème structurel : la façon dont les plateformes sont conçues. Dans ce contexte, McGlynn propose que le « déploiement dangereux de chatbots d’IA » soit considéré comme un délit afin de responsabiliser les entreprises qui ne mettent pas en place des mesures adéquates de prévention des dommages.
Selon l’IWF, la sécurité dès la conception, qui comprend des tests avant le lancement et des mécanismes d’audit indépendants, doit devenir la norme. Des mouvements se produisent également dans le domaine politique : au Royaume-Uni, la Chambre des lords a proposé d’introduire des responsabilités pénales pour les fournisseurs de chatbots jugés non sécurisés, et il existe une possibilité que ces services soient inclus dans la loi sur la sécurité en ligne. Les critiques soulignent toutefois qu’il manque encore un organisme de réglementation spécifique et des obligations claires pour garantir la sécurité avant que les produits n’atteignent le public.
Pour conclure, les rapports mettent en avant une tension croissante entre l’innovation technologique et la protection des droits fondamentaux. Sans interventions plus fermes, il existe un risque que l’IA reflète, voire amplifie les formes de violence existantes, en particulier à l’égard des femmes et des filles. Pour les professionnels de la sécurité, cela implique le besoin d’adopter une approche proactive axée sur la prévention, la responsabilité et la conception éthique des technologies émergentes.
_____
Aquest apunt en català / Esta entrada en español / This post in English

