La investigadora Clare McGlynn, experta en violencia contra mujeres y niñas, alerta de que la última generación de chatbots de inteligencia artificial (IA) está facilitando nuevas formas de abuso de una escala e intensidad preocupantes. Aunque la relación entre tecnología y violencia de género no es nueva —tenemos, por ejemplo, los deep fake sexuales o el abuso basado en imágenes—, McGlynn considera que los chatbots representan un cambio cualitativo. Su investigación documenta que estas herramientas, a menudo accesibles de manera gratuita, permiten a los usuarios simular escenarios de violación, incesto y abuso sexual infantil, así como otras formas de violencia de género.

Tal como informa Patricia Clarke en observer.co.uk, este informe coincide con una investigación de la Internet Watch Foundation (IWF), que denuncia un crecimiento rápido del material de abuso sexual infantil generado por IA. Los datos son especialmente alarmantes: en el 2025 se identificaron miles de vídeos generados por IA, con un incremento exponencial respecto del año anterior. Además, una proporción significativa de este contenido se clasifica en los niveles más extremos de gravedad. Las niñas representan la inmensa mayoría de las víctimas, lo que evidencia un claro sesgo de género en los daños producidos.
Los informes coinciden en señalar que el problema no es solo el uso indebido de la tecnología, sino también las decisiones de diseño de las plataformas. Cuando las empresas priorizan el crecimiento y la captación de usuarios por encima de la seguridad, crean entornos que facilitan el abuso. En particular, los modelos de IA de código abierto son un factor de riesgo, ya que cualquier usuario puede descargarlos, modificarlos y eliminar las salvaguardias. Esta accesibilidad ha sido celebrada en foros de la web oscura (dark web), en la que algunos usuarios ven la IA como una herramienta para materializar fantasías ilegales con un alto grado de realismo.
Uno de los ámbitos más preocupantes es el de las aplicaciones de rol y compañía, en la que los chatbots de conversación actúan como interlocutores ficticios. Plataformas con millones de usuarios permiten crear personajes que pueden representar situaciones abusivas o sexualizadas, incluyendo menores. La falta de control efectivo sobre estos contenidos y la facilidad para acceder a ellos amplifican sus riesgos, especialmente para usuarios jóvenes.
McGlynn define este fenómeno como “violencia simulada por chatbots” y destaca que es un problema todavía poco visible en la investigación académica. A pesar de la abundancia de estudios sobre seguridad en IA, hay una falta significativa de análisis centrado en el impacto de género. Esta invisibilidad puede contribuir a perpetuar riesgos sistémicos a medida que la tecnología evoluciona.
Con respecto a la regulación, los expertos consideran que la respuesta actual es insuficiente y fragmentada. Algunas medidas, como restringir el acceso a determinadas aplicaciones o prohibirlas en ciertos países, se consideran pasos limitados que no abordan el problema estructural: el propio diseño de las plataformas. En este contexto, McGlynn propone crear un nuevo delito penal para el despliegue peligroso de chatbots de IA, que responsabilice a las empresas de que no implementen medidas adecuadas para prevenir sus daños. Paralelamente, la IWF reclama que la seguridad por diseño se convierta en un estándar obligatorio, que incluya pruebas previas al lanzamiento y mecanismos de auditoría independientes.
También se están produciendo movimientos en el ámbito político: en el Reino Unido, la Cámara de los Lores ha propuesto introducir responsabilidades penales para los proveedores de chatbots inseguros, y se plantea incluir estos servicios dentro de la legislación de seguridad en línea. No obstante, los críticos señalan que todavía falta un regulador específico y obligaciones claras que garanticen la seguridad antes de que los productos lleguen al público.
En definitiva, los informes ponen de manifiesto una tensión creciente entre la innovación tecnológica y la protección de los derechos fundamentales. Sin intervenciones más contundentes, está el riesgo de que la IA no solo refleje formas de violencia existentes, especialmente contra mujeres y niñas, sino que también las amplifique. Para los profesionales de la seguridad, esto implica la necesidad de adoptar un enfoque proactivo, basado en la prevención, la responsabilidad y el diseño ético de las tecnologías emergentes.
_____
Aquest apunt en català / This post in English / Post en français








