La investigadora Clare McGlynn, experta en violència contra les dones i nenes, alerta que l’última generació de bots de conversa (chatbot) d’intel·ligència artificial (IA) està facilitant noves formes d’abús d’una escala i intensitat preocupants. Tot i que la relació entre tecnologia i violència de gènere no és nova —tenim, per exemple, els hipertrucatges (deepfakes) sexuals o l’abús basat en imatges—, McGlynn considera que els bots de conversa representen un canvi qualitatiu. La seva recerca documenta que aquestes eines, sovint accessibles de manera gratuïta, permeten als usuaris simular escenaris de violació, incest i abús sexual infantil, així com altres formes de violència de gènere.

Tal com informa Patricia Clarke a observer.co.uk, aquest informe coincideix amb una investigació de la Internet Watch Foundation (IWF), que denuncia un creixement ràpid del material d’abús sexual infantil generat per IA. Les dades són especialment alarmants: el 2025 es van identificar milers de vídeos generats per IA, amb un increment exponencial respecte de l’any anterior. A més, una proporció significativa d’aquest contingut es classifica en els nivells més extrems de gravetat. Les nenes representen la immensa majoria de les víctimes, fet que evidencia un clar biaix de gènere en els danys produïts.
Els informes coincideixen a assenyalar que el problema no és només l’ús indegut de la tecnologia, sinó també les decisions de disseny de les plataformes. Quan les empreses prioritzen el creixement i la captació d’usuaris per sobre de la seguretat, creen entorns que faciliten l’abús. En particular, els models d’IA de codi obert són un factor de risc, ja que qualsevol usuari pot descarregar-los, modificar-los i eliminar-ne les salvaguardes. Aquesta accessibilitat ha estat celebrada en fòrums del web fosc (dark web), en què alguns usuaris veuen la IA com una eina per materialitzar fantasies il·legals amb un alt grau de realisme.
Un dels àmbits més preocupants és el de les aplicacions de rol i companyia, en què els bots de conversa actuen com a interlocutors ficticis. Plataformes amb milions d’usuaris permeten crear personatges que poden representar situacions abusives o sexualitzades, incloent-hi menors. La manca de control efectiu sobre aquests continguts i la facilitat per accedir-hi amplifiquen els riscos, especialment per a usuaris joves.
McGlynn defineix aquest fenomen com a “violència simulada per bots de conversa” i destaca que és un problema encara poc visible en la recerca acadèmica. Malgrat l’abundància d’estudis sobre seguretat en IA, hi ha una manca significativa d’anàlisi centrada en l’impacte de gènere. Aquesta invisibilitat pot contribuir a perpetuar riscos sistèmics a mesura que la tecnologia evoluciona.
Pel que fa a la regulació, els experts consideren que la resposta actual és insuficient i fragmentada. Algunes mesures, com ara restringir l’accés a determinades aplicacions o prohibir-les en certs països, es consideren passos limitats que no aborden el problema estructural: el disseny mateix de les plataformes. En aquest context, McGlynn proposa crear un nou delicte penal per al desplegament perillós de bots de conversa d’IA, que responsabilitzi les empreses que no implementin mesures adequades per prevenir-ne els danys.
Paral·lelament, la IWF reclama que la seguretat per disseny esdevingui un estàndard obligatori, que inclogui proves prèvies al llançament i mecanismes d’auditoria independents. També s’estan produint moviments en l’àmbit polític: al Regne Unit, la Cambra dels Lords ha proposat introduir responsabilitats penals per als proveïdors de bots de conversa insegurs, i es planteja incloure aquests serveis dins la legislació de seguretat en línia. No obstant això, els crítics assenyalen que encara manca un regulador específic i obligacions clares que garanteixin la seguretat abans que els productes arribin al públic.
En definitiva, els informes posen de manifest una tensió creixent entre la innovació tecnològica i la protecció dels drets fonamentals. Sense intervencions més contundents, hi ha el risc que la IA no només reflecteixi formes de violència existents, especialment contra les dones i nenes, sinó que també les amplifiqui. Per als professionals de la seguretat, això implica la necessitat d’adoptar un enfocament proactiu, basat en la prevenció, la responsabilitat i el disseny ètic de les tecnologies emergents.
_____
Esta entrada en español / This post in English / Post en français








