Les abus sexuels sur des enfants facilités par les technologies : des avancées dans les enquêtes, mais de nouveaux défis liés à l’IA

Notes de seguretatDeixa un comentari

L’abus sexuel sur les enfants facilité par les technologies numériques reste l’une des principales préoccupations des autorités européennes. Si les États membres du Conseil de l’Europe ont réalisé des avancées significatives dans l’enquête sur ces crimes, la protection des victimes et la formation des professionnels, un nouveau rapport du Comité de Lanzarote met en lumière des lacunes importantes, notamment dans la prise en charge des images sexuelles autoproduites par des mineurs et face à l’impact croissant de l’intelligence artificielle.

Le rapport évalue le degré de mise en œuvre des 28 recommandations formulées en 2022 dans le cadre de la Convention de Lanzarote, principal traité international consacré à la prévention et à la lutte contre l’exploitation et les abus sexuels sur les enfants. Les conclusions font état de progrès notables dans plusieurs domaines, tout en soulignant que les législations et les politiques publiques ne sont pas encore pleinement adaptées aux nouveaux risques liés au numérique.

L’une des principales préoccupations des experts concerne le fait que de nombreux pays continuent d’autoriser des poursuites pénales contre des mineurs pour la détention ou le partage d’images sexuelles qu’ils ont eux-mêmes produites ou créées avec leur partenaire mineur. Selon le rapport, près des deux tiers des États examinés prévoient encore cette possibilité, tandis que près de la moitié peuvent également engager des poursuites contre des mineurs ayant diffusé leurs propres images intimes.

Le Comité de Lanzarote estime qu’une telle réponse peut s’avérer contre-productive, car elle conduit à traiter comme délinquants des enfants qui sont souvent aussi des victimes. Il préconise donc de privilégier, chaque fois que cela est possible, les mesures éducatives, préventives et restauratives plutôt que les sanctions pénales. Le recours à la justice pénale ne devrait intervenir qu’en dernier ressort, lorsque ces alternatives se révèlent insuffisantes.

Le rapport souligne également les progrès accomplis dans les capacités des enquêtes policières. Au cours des dernières années, le nombre de pays autorisant les unités spécialisées en cybercriminalité à mener des opérations sous couverture afin d’identifier les auteurs d’exploitation sexuelle d’enfants sur Internet a quasiment doublé. Plusieurs États ont par ailleurs renforcé les moyens humains et financiers alloués à ces unités spécialisées.

Les mécanismes de coopération internationale ont eux aussi été consolidés. Un nombre croissant de pays sont désormais en mesure de poursuivre leurs ressortissants ou leurs résidents ayant commis des délits sexuels sur des mineurs à l’étranger, même lorsque les faits ne sont pas incriminés dans le

pays où ils ont été commis. Dans de nombreux cas, il n’est plus non plus nécessaire que la victime dépose plainte ou que les autorités étrangères ouvrent préalablement une enquête pour permettre l’engagement de poursuites.

Autre évolution positive : le renforcement des dispositifs d’accompagnement des victimes. Le nombre de pays disposant de lignes d’assistance téléphonique et de plateformes numériques adaptées aux enfants, leur offrant conseils et soutien spécialisé, a sensiblement augmenté. Les financements accordés aux organisations sociales engagées dans la prévention de l’exploitation sexuelle des enfants et l’accompagnement des victimes ont également été renforcés.

Parallèlement, de nombreux États ont développé la formation spécialisée des magistrats, des juges, des policiers et d’autres professionnels susceptibles de détecter des situations à risque. Néanmoins, le Comité souligne que cette formation n’est pas déployée de manière homogène dans certains secteurs en contact avec les enfants, notamment l’éducation, la santé, les services sociaux ainsi que les activités sportives et de loisirs.

Le rapport accorde une attention particulière aux conséquences de l’intelligence artificielle générative. Les outils capables de produire des images et des vidéos hyperréalistes accroissent le risque que des délinquants créent du matériel représentant des abus sexuels sur enfants sans avoir à utiliser de photographies réelles de victimes.

Ces contenus synthétiques peuvent servir à extorquer des mineurs, à les manipuler psychologiquement, à faciliter des opérations de manipulation d’enfants (grooming) ou encore à banaliser les violences sexuelles. Leur degré de réalisme est tel qu’il devient souvent difficile de les distinguer des images réelles, ce qui complique à la fois les enquêtes judiciaires et les stratégies de prévention.

C’est dans ce contexte que le Comité de Lanzarote et le Comité de la Convention de Budapest sur la cybercriminalité ont adopté, en juin 2026, une déclaration conjointe affirmant que les images d’abus sexuels sur enfants générées ou modifiées à l’aide de l’intelligence artificielle – y compris les images entièrement synthétiques ne représentant aucun enfant réel – relèvent déjà du champ d’application des deux conventions internationales. En conséquence, les États ayant ratifié ces traités n’ont pas besoin d’adopter de nouvelles dispositions législatives spécifiques pour enquêter et poursuivre ce type de contenus.

Les conclusions du rapport montrent que la lutte contre l’exploitation sexuelle des enfants exige une adaptation permanente des outils d’enquête, de la coopération internationale et des mécanismes de protection des victimes. Dans le même temps, l’essor de l’intelligence artificielle contraint les autorités à revoir leurs stratégies face à des formes de criminalité toujours plus sophistiquées.

Le message du Conseil de l’Europe est sans ambiguïté : si la technologie peut devenir un instrument au service de la délinquance, elle offre également de nouveaux moyens de la détecter et de la poursuivre. Le succès de cette lutte reposera sur le maintien d’un équilibre entre l’efficacité des enquêtes, la protection des droits de l’enfant et une réponse judiciaire proportionnée, en particulier lorsque des mineurs sont impliqués.

_____

Aquest apunt en català / Esta entrada en español / This post in English

Child sexual abuse facilitated by technology: advances in research, but new challenges with AI

Notes de seguretatDeixa un comentari

Child sexual abuse facilitated by digital technologies remains one of the main concerns of European authorities. Although the member states of the Council of Europe have made significant progress in the investigation of these crimes, the protection of victims, and the training of professionals, a new report from the Lanzarote Committee warns that there are still significant shortcomings, particularly regarding the response to self-generated sexual images by minors and the growing impact of artificial intelligence.

The report assesses the level of compliance with the 28 recommendations made in 2022 under the Lanzarote Convention, the main international treaty for preventing and combating the sexual exploitation and abuse of children. The conclusions show a positive development in various areas, but they also demonstrate that legislation and public policies have not yet fully adapted to new digital risks.

One of the main concerns of experts is that many countries continue to allow the same minors to be prosecuted for possessing or sharing sexual images that they themselves or their underage partner have generated. According to the report, nearly two-thirds of the analysed states maintain this legal possibility, while about half can also prosecute minors for disseminating their own intimate images.

The Lanzarote Committee considers that this response may be counterproductive, as it turns children who are often also victims into offenders. For this reason, it argues that, wherever possible, educational, preventive, and restorative measures should prevail over criminal sanctions. Only when these alternatives prove insufficient should recourse to the judicial route be taken.

The report also highlights significant developments in police investigative capabilities. In recent years, the number of countries that allow specialised cybercrime units to carry out undercover operations to identify online child sexual exploiters has nearly doubled. In addition, several states have increased the economic and human resources allocated to these specialised units.

International cooperation mechanisms have also been strengthened. More and more countries can prosecute their citizens or residents who commit sexual offences against minors abroad, even if these acts are not classified as crimes in the country where they occurred. Similarly, in many cases it is no longer necessary for the victim to file a complaint or for foreign authorities to initiate an investigation beforehand in order to take action.

Another positive aspect is the expansion of victim services. The number of countries with telephone lines and digital platforms tailored for children, where

they can receive specialised advice and help, has significantly increased. Funding allocated to social entities working on the prevention of child sexual exploitation and supporting victims has also increased.

At the same time, many U.S. states have strengthened the specific training of prosecutors, judges, police officers, and other professionals who can detect risky situations. However, the Committee notes that this training is not yet reaching all sectors related to childhood in a uniform manner, such as education, healthcare, social services, or sports and leisure activities.

The report pays special attention to the impact of generative artificial intelligence. Tools capable of creating hyper-realistic images and videos have increased the risk that criminals will produce child sexual abuse material without the need to obtain real photographs of the victims.

These synthetic images can be used to extort minors, emotionally manipulate them, facilitate grooming processes, or normalise sexual abuse behaviours. Its high quality makes it difficult in many cases to distinguish them from the real material, complicating both investigations and prevention strategies.

For this reason, the Lanzarote Committee and the Budapest Convention Committee on Cybercrime approved a joint declaration in June 2026 stating that images of child sexual abuse generated or modified by artificial intelligence—including those that are completely synthetic and do not depict any real minor—are already covered by both international conventions. Consequently, states that have ratified the treaties do not need to enact new specific laws to investigate and prosecute this type of material.

The conclusions of the report highlight that the fight against child sexual exploitation requires a constant updating of investigative tools, international cooperation, and victim protection mechanisms. At the same time, the emergence of artificial intelligence forces authorities to adapt their strategies to increasingly sophisticated forms of crime.

The message from the Council of Europe is clear: technology can become a tool for criminals, but it also offers new capabilities to detect and pursue them. Success will depend on maintaining a balance between effective investigation, the protection of children’s rights, and a proportionate judicial response, especially when those involved are minors.

_____

Aquest apunt en català / Esta entrada en español / Post en français

El abuso sexual infantil facilitado por la tecnología: avances y nuevos retos en la investigación

Notes de seguretatDeixa un comentari

El abuso sexual infantil facilitado por las tecnologías digitales sigue siendo una de las preocupaciones principales de las autoridades europeas. A pesar de que los estados miembros del Consejo de Europa han realizado avances significativos en la investigación de estos delitos, la protección de las víctimas y la formación de los profesionales, un nuevo informe del Comité de Lanzarote alerta de que todavía hay carencias importantes, especialmente con respecto a la respuesta ante las imágenes sexuales autogeneradas por menores y el impacto creciente de la inteligencia artificial.

El informe evalúa el grado de cumplimiento de las 28 recomendaciones formuladas en el año 2022 en el marco del Convenio de Lanzarote, el principal tratado internacional para prevenir y combatir la explotación y el abuso sexual infantil. Las conclusiones muestran una evolución positiva en varios ámbitos, pero también evidencian que la legislación y las políticas públicas todavía no se han adaptado completamente a los nuevos riesgos digitales.

Una de las preocupaciones de los expertos es que en muchos países se sigue procesando penalmente a los menores por poseer o compartir imágenes sexuales que han generado ellos mismos o su pareja menor de edad. Según el informe, casi dos tercios de los estados analizados mantienen esta posibilidad legal, mientras que cerca de la mitad también pueden perseguir penalmente a los menores por difundir sus propias imágenes íntimas.

El Comité de Lanzarote considera que esta respuesta puede resultar contraproducente, ya que convierte en infractores a niños que a menudo también son víctimas. Por este motivo, defiende que, siempre que sea posible, las medidas educativas, preventivas y restaurativas deberían prevalecer sobre las sanciones penales. Solo cuando estas alternativas sean insuficientes se debería recurrir a la vía judicial.

El informe también destaca avances importantes en las capacidades de investigación policial. En los últimos años casi se ha duplicado el número de países que permiten que las unidades especializadas en ciberdelincuencia lleven a cabo operaciones encubiertas para identificar a explotadores sexuales de menores en internet. Además, varios estados han incrementado los recursos económicos y humanos destinados a estas unidades especializadas.

También se han reforzado los mecanismos de cooperación internacional. Cada vez más países pueden perseguir a sus ciudadanos o residentes que cometan delitos sexuales contra menores en el extranjero, aunque estos hechos no estén tipificados en el país donde se han producido. Igualmente, en muchos casos ya no es necesario que la víctima presente una denuncia ni que las autoridades extranjeras inicien previamente una investigación para poder actuar.

Otro de los aspectos positivos es la ampliación de los servicios de atención a las víctimas. Ha aumentado notablemente el número de países que disponen de líneas

telefónicas y plataformas digitales adaptadas a los niños, donde pueden recibir asesoramiento y ayuda especializada. También se ha incrementado la financiación destinada a entidades sociales que trabajan en la prevención de la explotación sexual infantil y el acompañamiento de las víctimas.

Paralelamente, muchos estados han reforzado la formación específica de fiscales, jueces, policías y otros profesionales que pueden detectar situaciones de riesgo. No obstante, el Comité señala que esta formación todavía no llega de manera homogénea a todos los sectores relacionados con la infancia, como la educación, la sanidad, los servicios sociales o las actividades deportivas y de ocio.

El informe dedica una atención especial al impacto de la inteligencia artificial generativa. Las herramientas capaces de crear imágenes y vídeos hiperrealistas han incrementado el riesgo de que los delincuentes elaboren material de abuso sexual infantil sin necesidad de obtener fotografías reales de las víctimas. Estas imágenes sintéticas se pueden utilizar para extorsionar a menores, manipularlos emocionalmente, facilitar procesos de captación (grooming) o normalizar conductas de abuso sexual. Por su elevada calidad, en muchos casos es difícil distinguirlas del material real, lo que complica las investigaciones y las estrategias de prevención.

Por este motivo, el Comité de Lanzarote y el Comité del Convenio de Budapest sobre ciberdelincuencia aprobaron, en junio de 2026, una declaración conjunta en la que establecen que las imágenes de abuso sexual infantil generadas o modificadas mediante inteligencia artificial —incluidas las completamente sintéticas, que no representan a ningún menor real— ya están cubiertas por los dos convenios internacionales. En consecuencia, los estados que han ratificado estos tratados no necesitan aprobar nuevas leyes específicas para investigar y perseguir penalmente este tipo de material.

Las conclusiones del informe evidencian que la lucha contra la explotación sexual infantil requiere una actualización constante de las herramientas de investigación, la cooperación internacional y los mecanismos de protección de las víctimas. Al mismo tiempo, la irrupción de la inteligencia artificial obliga a las autoridades a adaptar las estrategias ante formas de delincuencia cada vez más sofisticadas.

El mensaje del Consejo de Europa es claro: la tecnología puede convertirse en una herramienta al servicio de los delincuentes, pero también ofrece nuevas capacidades para detectarlos y perseguirlos. El éxito dependerá de mantener un equilibrio entre una investigación eficaz, la protección de los derechos de los niños y una respuesta judicial proporcionada, especialmente cuando los implicados son menores de edad.

_____

Aquest apunt en català / This post in English / Post en français

L’abús sexual infantil facilitat per la tecnologia: avenços i nous reptes en la investigació

Notes de seguretatDeixa un comentari

L’abús sexual infantil facilitat per les tecnologies digitals continua sent una de les preocupacions principals de les autoritats europees. Tot i que els estats membres del Consell d’Europa han fet avenços significatius en la investigació d’aquests delictes, la protecció de les víctimes i la formació dels professionals, un nou informe del Comitè de Lanzarote alerta que encara hi ha mancances importants, especialment pel que fa a la resposta davant les imatges sexuals autogenerades per menors i l’impacte creixent de la intel·ligència artificial.

L’informe avalua el grau de compliment de les 28 recomanacions formulades l’any 2022 en el marc del Conveni de Lanzarote, el principal tractat internacional per prevenir i combatre l’explotació i l’abús sexual infantil. Les conclusions mostren una evolució positiva en diversos àmbits, però també evidencien que la legislació i les polítiques públiques encara no s’han adaptat completament als nous riscos digitals.

Una de les preocupacions dels experts és que molts països continuen permetent que els menors siguin processats penalment per posseir o compartir imatges sexuals que han generat ells mateixos o la seva parella menor d’edat. Segons l’informe, gairebé dos terços dels estats analitzats mantenen aquesta possibilitat legal, mentre que prop de la meitat també poden perseguir penalment els menors per difondre les seves pròpies imatges íntimes.

El Comitè de Lanzarote considera que aquesta resposta pot ser contraproduent, ja que converteix en infractors infants que sovint també són víctimes. Per aquest motiu, defensa que, sempre que sigui possible, les mesures educatives, preventives i restauratives haurien de prevaler sobre les sancions penals. Només quan aquestes alternatives siguin insuficients s’hauria de recórrer a la via judicial.

L’informe també destaca avenços importants en les capacitats d’investigació policial. En els darrers anys gairebé s’ha duplicat el nombre de països que permeten a les unitats especialitzades en ciberdelinqüència dur a terme operacions encobertes per identificar explotadors sexuals de menors a internet. A més, diversos estats han incrementat els recursos econòmics i humans destinats a aquestes unitats especialitzades.

També s’han reforçat els mecanismes de cooperació internacional. Cada vegada més països poden perseguir els ciutadans o residents que cometin delictes sexuals contra menors a l’estranger, encara que aquests fets no estiguin tipificats al país on s’han produït. Igualment, en molts casos ja no és necessari que la víctima presenti una denúncia ni que les autoritats estrangeres iniciïn prèviament una investigació per poder actuar.

Un altre dels aspectes positius és l’ampliació dels serveis d’atenció a les víctimes. Ha augmentat notablement el nombre de països que disposen de línies telefòniques i plataformes digitals adaptades als infants, on poden rebre assessorament i ajuda especialitzada. També s’ha incrementat el finançament destinat a entitats socials que

treballen en la prevenció de l’explotació sexual infantil i l’acompanyament de les víctimes.

Paral·lelament, molts estats han reforçat la formació específica de fiscals, jutges, policies i altres professionals que poden detectar situacions de risc. No obstant això, el Comitè assenyala que aquesta formació encara no arriba de manera homogènia a tots els sectors relacionats amb la infància, com ara l’educació, la sanitat, els serveis socials o les activitats esportives i de lleure.

L’informe dedica una atenció especial a l’impacte de la intel·ligència artificial generativa. Les eines capaces de crear imatges i vídeos hiperrealistes han incrementat el risc que els delinqüents elaborin material d’abús sexual infantil sense necessitat d’obtenir fotografies reals de les víctimes. Aquestes imatges sintètiques es poden utilitzar per extorsionar menors, manipular-los emocionalment, facilitar processos de captació (grooming) o normalitzar conductes d’abús sexual. L’elevada qualitat fa que, en molts casos, sigui difícil distingir-les del material real, fet que complica les investigacions i les estratègies de prevenció.

Per aquest motiu, el Comitè de Lanzarote i el Comitè del Conveni de Budapest sobre ciberdelinqüència van aprovar, el juny de 2026, una declaració conjunta en què estableixen que les imatges d’abús sexual infantil generades o modificades mitjançant intel·ligència artificial —incloses les completament sintètiques, que no representen cap menor real— ja estan cobertes pels dos convenis internacionals. En conseqüència, els estats que n’han ratificat els tractats no necessiten aprovar noves lleis específiques per investigar i perseguir penalment aquest tipus de material.

Les conclusions de l’informe evidencien que la lluita contra l’explotació sexual infantil requereix una actualització constant de les eines d’investigació, la cooperació internacional i els mecanismes de protecció de les víctimes. Alhora, la irrupció de la intel·ligència artificial obliga les autoritats a adaptar les estratègies davant formes de delinqüència cada vegada més sofisticades.

El missatge del Consell d’Europa és clar: la tecnologia pot convertir-se en una eina al servei dels delinqüents, però també ofereix noves capacitats per detectar-los i perseguir-los. L’èxit dependrà de mantenir un equilibri entre una investigació eficaç, la protecció dels drets dels infants i una resposta judicial proporcionada, especialment quan els implicats són menors d’edat.

_____

Esta entrada en español / This post in English / Post en français

IA et police : les bénéfices progressent plus vite que les garanties, selon une nouvelle étude

Notes de seguretatDeixa un comentari

L’intelligence artificielle (IA) transforme rapidement le fonctionnement des forces de police et du système de justice pénale. De l’analyse des preuves numériques à la rédaction automatisée de documents, en passant par l’identification de schémas criminels, ces technologies promettent d’améliorer l’efficacité et d’alléger la charge de travail des professionnels. Toutefois, une nouvelle étude menée par l’Université de Northumbria met en garde contre un déploiement de ces outils qui progresse plus rapidement que les mécanismes de contrôle, de supervision et de régulation nécessaires pour garantir une utilisation sûre, transparente et responsable.

Réalisée sur une période de quatre ans dans le cadre du projet PROBabLE Futures, cette étude constitue à ce jour la cartographie la plus complète de l’utilisation de l’IA au sein du système de justice pénale en Angleterre et au Pays de Galles. Les chercheurs ont recensé 70 outils d’intelligence artificielle déjà opérationnels, en phase d’expérimentation ou en cours de développement. Parmi eux, 27 sont déjà utilisés dans un cadre opérationnel, tandis que 34 font l’objet de projets pilotes. Plus de la moitié ont été développés par des entreprises privées, ce qui illustre également le rôle croissant du secteur technologique dans ce domaine.

Les applications identifiées sont très variées. Elles comprennent la transcription automatique des dépositions, l’assistance à la rédaction des procès-verbaux, le tri des appels adressés aux centres d’urgence, l’analyse de grands volumes d’informations afin de détecter des tendances criminelles, l’identification des personnes vulnérables, la gestion des preuves numériques, la rédaction de documents judiciaires ainsi que les systèmes de reconnaissance faciale. Certaines solutions sont également destinées au bien-être des agents et sont capables de détecter des indicateurs de stress ou de risques psychosociaux.

Les chercheurs reconnaissent que nombre de ces applications apportent des bénéfices réels lorsqu’elles sont correctement mises en œuvre. Les tâches répétitives et administratives peuvent être automatisées, ce qui permet aux professionnels de consacrer davantage de temps aux activités nécessitant un jugement humain. De même, l’analyse automatisée des données peut accélérer les enquêtes et faciliter l’identification d’informations pertinentes qui pourraient passer inaperçues lors d’un examen manuel.

Cependant, le principal enseignement du rapport est que ces avantages ne sont durables que si les outils ont été conçus pour répondre à des besoins précis, ont fait l’objet de tests rigoureux et sont encadrés par des mécanismes de supervision solides. Selon les auteurs, cette situation est encore loin d’être généralisée, et dans de nombreux cas, le rythme d’adoption de ces technologies dépasse la capacité des institutions à évaluer les risques et à mettre en place des règles de gouvernance claires.

L’un des aspects les plus marquants de l’étude concerne la critique du concept human in the loop (« l’humain dans le processus »), selon lequel une personne est censée examiner systématiquement les décisions ou recommandations produites par l’IA avant qu’elles ne produisent des effets concrets. En théorie, ce mécanisme doit garantir que la responsabilité finale reste entre les mains des personnes.

Les chercheurs constatent cependant que cette supervision est souvent davantage formelle qu’effective. Lorsqu’un outil affiche un niveau élevé de précision, les utilisateurs ont tendance à lui accorder une confiance excessive et à examiner ses résultats avec moins d’attention. Cette situation crée un faux sentiment de sécurité : les erreurs sont peu fréquentes, mais lorsqu’elles surviennent, elles risquent davantage de passer inaperçues et peuvent avoir des conséquences importantes, notamment dans des domaines aussi sensibles que les enquêtes policières ou les procédures judiciaires.

Le rapport alerte également sur un autre risque émergent : l’interconnexion de plusieurs systèmes d’IA au sein d’un même processus. Si les informations produites par un outil alimentent automatiquement un autre système, une erreur initiale peut se propager et s’amplifier tout au long de la chaîne décisionnelle. Ce phénomène, qualifié de « chaînage des systèmes d’IA », est encore peu étudié, mais les auteurs estiment qu’il devrait faire l’objet d’une attention prioritaire.

Afin de répondre à ces défis, l’étude formule 26 recommandations à l’intention des administrations publiques, des services de police, des autorités judiciaires, des fournisseurs de technologies et de la communauté scientifique. Parmi les principales mesures proposées figurent la réalisation d’évaluations indépendantes de tous les outils d’IA, la création de registres publics permettant d’identifier les systèmes utilisés, l’adoption de normes plus exigeantes pour leur acquisition et leur validation, le renforcement de la formation des professionnels ainsi que le développement de recherches spécifiques sur les risques liés aux interactions entre différents systèmes d’intelligence artificielle.

En définitive, l’étude ne remet pas en cause l’utilité de l’IA dans le domaine policier et ne plaide pas pour un ralentissement de l’innovation. Au contraire, elle conclut que ces technologies peuvent apporter une réelle valeur ajoutée lorsqu’elles sont utilisées de manière responsable et transparente. Le véritable défi consiste à faire en sorte que les avancées technologiques s’accompagnent d’un cadre solide de gouvernance, de supervision et de reddition de comptes. C’est à cette condition qu’il sera possible de tirer pleinement parti des bénéfices de l’intelligence artificielle sans compromettre les droits fondamentaux, la qualité des enquêtes ni la confiance des citoyens envers les institutions chargées de la sécurité.

_____

Aquest apunt en català / Esta entrada en español / This post in English

AI in policing: benefits are advancing faster than the safeguards, according to a new study

Notes de seguretatDeixa un comentari

Artificial intelligence (AI) is rapidly transforming the functioning of police forces and the criminal justice system. From the analysis of digital evidence to the automatic drafting of documents or the identification of criminal patterns, these technologies promise to improve efficiency and reduce the workload of professionals. However, a new study led by Northumbria University warns that the implementation of these tools is advancing more rapidly than the necessary control, oversight, and regulatory mechanisms to ensure safe, transparent, and responsible use.

The study, developed over four years as part of the PROBabLE Futures project, constitutes the most comprehensive map created to date on the use of AI in the criminal justice system of England and Wales. Researchers have identified a total of 70 artificial intelligence tools that are already operational, in testing phase, or in development. Of these, 27 are already being used operationally, while 34 are in pilot phases. More than half have been developed by private companies, a fact that also highlights the growing role of the technology sector in this area.

The detected applications are very diverse. They include automatic transcription of statements, assisted drafting of reports, classification of calls to emergency centres, analysis of large volumes of information to detect criminal patterns, identification of vulnerable individuals, management of digital evidence, drafting of legal documents, and facial recognition systems. There are also tools aimed at the well-being of officers, capable of identifying indicators of stress or psychosocial risk.

Researchers acknowledge that many of these applications provide real benefits when implemented correctly. Repetitive and administrative tasks can be automated, allowing professionals to dedicate more time to activities that require human judgement. Similarly, automated data analysis can facilitate faster investigations and help detect relevant information that might be overlooked in a manual review.

However, the main message of the report is that these advantages are only sustainable when the tools have been designed to address specific problems, have undergone rigorous testing, and operate under robust oversight mechanisms. According to the authors, this situation is not yet widespread, and in many cases, the speed of adoption exceeds the capacity of institutions to assess risks and establish clear governance standards.

One of the highlights of the study is the criticism of the concept of human in the loop, that is, the idea that a person always reviews the decisions or recommendations generated by AI before they have practical effects. In theory,

this mechanism should ensure that the final responsibility continues to rest with the individuals.

However, researchers observe that this oversight is often more formal than effective. When a tool demonstrates a high level of accuracy, users tend to trust it excessively and stop reviewing its results with the same attention. This creates a false sense of security: errors are infrequent, but when they occur, they are more likely to go unnoticed and can lead to significant consequences, especially in sensitive areas such as police investigations or judicial processes.

The report also warns of another emerging risk: the connection of various AI systems within the same process. If the information produced by one tool automatically feeds into another, any initial error can be transmitted and amplified throughout the entire decision chain. This phenomenon, known as «AI system chaining», has still been little studied, but the authors believe it deserves priority attention.

To address these challenges, the study formulates 26 recommendations aimed at public administrations, law enforcement agencies, the judicial system, technology providers, and the scientific community. Among the proposed measures are the conduct of independent assessments of all AI tools, the creation of public registries to know which systems are in use, the establishment of more stringent standards for their acquisition and validation, better training for professionals, and specific research on the risks arising from the interaction between different artificial intelligence systems.

In short, the study does not question the usefulness of AI in the police field nor does it advocate for halting innovation. On the contrary, it concludes that these technologies can bring great value when used responsibly and transparently. The real challenge is to ensure that technological development is accompanied by a robust framework of governance, oversight, and accountability. Only in this way will it be possible to harness the benefits of artificial intelligence without compromising fundamental rights, the quality of investigations, and the trust of citizens in security institutions.

_____

Aquest apunt en català / Esta entrada en español / Post en français

La inteligencia artificial en la policía: los beneficios avanzan más rápido que las garantías

Notes de seguretatDeixa un comentari

La inteligencia artificial (IA) está transformando rápidamente el funcionamiento de los cuerpos policiales y del sistema de justicia penal. Desde el análisis de pruebas digitales hasta la redacción automática de documentos o la identificación de patrones delictivos, estas tecnologías prometen mejorar la eficiencia y reducir la carga de trabajo de los profesionales. No obstante, un nuevo estudio liderado por la Universidad de Northumbria advierte que la implantación de estas herramientas está avanzando más rápidamente que los mecanismos de control, supervisión y regulación necesarios para garantizar un uso seguro, transparente y responsable.

El estudio, desarrollado durante cuatro años en el marco del proyecto PROBabLE Futuras, constituye el mapa más completo elaborado hasta ahora sobre el uso de la IA en el sistema de justicia penal de Inglaterra y Gales. Los investigadores han identificado un total de 70 herramientas de inteligencia artificial que están en funcionamiento, en fase de prueba o en desarrollo. De estas, 27 ya se utilizan de manera operativa, mientras que 34 están en fases piloto. Más de la mitad han sido desarrolladas por empresas privadas, hecho que también pone de manifiesto el papel creciente del sector tecnológico en este ámbito.

Las aplicaciones detectadas son muy diversas. Incluyen transcripción automática de declaraciones, redacción asistida de atestados, clasificación de llamadas en los centros de emergencia, análisis de grandes volúmenes de información para detectar patrones criminales, identificación de personas vulnerables, gestión de pruebas digitales, redacción de documentos judiciales y sistemas de reconocimiento facial. También hay herramientas orientadas al bienestar de los agentes, capaces de identificar indicadores de estrés o riesgo psicosocial.

Los investigadores reconocen que muchas de estas aplicaciones aportan beneficios reales cuando se implantan correctamente. Las tareas repetitivas y administrativas pueden automatizarse, lo que permite a los profesionales dedicar más tiempo a actividades que requieren un criterio humano. Igualmente, el análisis automatizado de datos puede facilitar investigaciones más rápidas y ayudar a detectar información relevante que podría pasar desapercibida en una revisión manual.

Sin embargo, el principal mensaje del informe es que estas ventajas solo son sostenibles cuando las herramientas han sido diseñadas para resolver problemas concretos, se han sometido a pruebas rigurosas y funcionan bajo mecanismos sólidos de supervisión. Según los autores, esta situación todavía no es generalizada, y en muchos casos la velocidad de adopción supera la capacidad de las instituciones para evaluar los riesgos y establecer normas claras de gobernanza.

Uno de los aspectos más destacados del estudio es la crítica al concepto de human in the loop (“el humano dentro del proceso”); es decir, la idea de que una persona revisa siempre las decisiones o recomendaciones generadas por la IA antes de que tengan

efectos prácticos. En teoría, este mecanismo debería garantizar que la responsabilidad final sigue recayendo en las personas.

No obstante, los investigadores observan que esta supervisión a menudo es más formal que efectiva. Cuando una herramienta demuestra un nivel elevado de precisión, los usuarios tienden a confiar excesivamente y dejan de revisar con la misma atención los resultados. Esto genera una falsa sensación de seguridad: los errores son poco frecuentes, pero cuando se producen tienen más probabilidades de pasar desapercibidos y pueden tener consecuencias importantes, especialmente en ámbitos tan sensibles como las investigaciones policiales o los procesos judiciales.

El informe también alerta de otro riesgo emergente: la conexión de varios sistemas de IA dentro de un mismo proceso. Si la información producida por una herramienta alimenta automáticamente otra, cualquier error inicial se puede transmitir y amplificar a lo largo de toda la cadena de decisiones. Este fenómeno, conocido como “encadenamiento de sistemas de IA”, todavía ha sido poco estudiado, pero los autores consideran que merece una atención prioritaria.

Para afrontar todos estos retos, el estudio formula 26 recomendaciones dirigidas a administraciones públicas, organismos policiales, sistema judicial, proveedores tecnológicos y comunidad científica. Entre las medidas propuestas destacan la realización de evaluaciones independientes de todas las herramientas de IA, la creación de registros públicos que permitan conocer qué sistemas se utilizan, el establecimiento de estándares más exigentes para su adquisición y validación, una mejor formación de los profesionales y una investigación específica sobre los riesgos derivados de la interacción entre diferentes sistemas de inteligencia artificial.

En definitiva, el estudio no cuestiona la utilidad de la IA en el ámbito policial ni defiende frenar la innovación. Al contrario, concluye que estas tecnologías pueden aportar un gran valor cuando se utilizan de manera responsable y transparente. El verdadero reto es asegurar que el desarrollo tecnológico vaya acompañado de un marco sólido de gobernanza, supervisión y rendición de cuentas. Solo así será posible aprovechar los beneficios de la inteligencia artificial sin comprometer los derechos fundamentales, la calidad de las investigaciones y la confianza de la ciudadanía en las instituciones de seguridad.

_____

Aquest apunt en català / This post in English / Post en français

La intel·ligència artificial en la policia: els beneficis avancen més ràpid que les garanties

Notes de seguretatDeixa un comentari

La intel·ligència artificial (IA) està transformant ràpidament el funcionament dels cossos policials i del sistema de justícia penal. Des de l’anàlisi de proves digitals fins a la redacció automàtica de documents o la identificació de patrons delictius, aquestes tecnologies prometen millorar l’eficiència i reduir la càrrega de treball dels professionals. No obstant això, un nou estudi liderat per la Universitat de Northumbria adverteix que la implantació d’aquestes eines està avançant més ràpidament que els mecanismes de control, supervisió i regulació necessaris per garantir-ne un ús segur, transparent i responsable.

L’estudi, desenvolupat durant quatre anys en el marc del projecte PROBabLE Futures, constitueix el mapa més complet elaborat fins ara sobre l’ús de la IA en el sistema de justícia penal d’Anglaterra i Gal·les. Els investigadors han identificat un total de 70 eines d’intel·ligència artificial que ja estan en funcionament, en fase de prova o en desenvolupament. D’aquestes, 27 ja s’utilitzen de manera operativa, mentre que 34 estan en fases pilot. Més de la meitat han estat desenvolupades per empreses privades, fet que també posa de manifest el paper creixent del sector tecnològic en aquest àmbit.

Les aplicacions detectades són molt diverses. Inclouen la transcripció automàtica de declaracions, la redacció assistida d’atestats, la classificació de trucades als centres d’emergència, l’anàlisi de grans volums d’informació per detectar patrons criminals, la identificació de persones vulnerables, la gestió de proves digitals, la redacció de documents judicials i els sistemes de reconeixement facial. També hi ha eines orientades al benestar dels agents, capaces d’identificar indicadors d’estrès o risc psicosocial.

Els investigadors reconeixen que moltes d’aquestes aplicacions aporten beneficis reals quan s’implanten correctament. Les tasques repetitives i administratives poden automatitzar-se, cosa que permet als professionals dedicar més temps a activitats que requereixen un criteri humà. Igualment, l’anàlisi automatitzada de dades pot facilitar investigacions més ràpides i ajudar a detectar informació rellevant que podria passar desapercebuda en una revisió manual.

Tanmateix, el principal missatge de l’informe és que aquests avantatges només són sostenibles quan les eines han estat dissenyades per resoldre problemes concrets, han estat sotmeses a proves rigoroses i funcionen sota mecanismes sòlids de supervisió. Segons els autors, aquesta situació encara no és generalitzada, i en molts casos la velocitat d’adopció supera la capacitat de les institucions per avaluar-ne els riscos i establir normes clares de governança.

Un dels aspectes més destacats de l’estudi és la crítica al concepte de human in the loop (“l’humà dins del procés”); és a dir, la idea que una persona revisa sempre les decisions o recomanacions generades per la IA abans que tinguin efectes pràctics. En teoria, aquest mecanisme hauria de garantir que la responsabilitat final continua recaient en les persones.

No obstant això, els investigadors observen que aquesta supervisió sovint és més formal que efectiva. Quan una eina demostra un nivell elevat de precisió, els usuaris tendeixen a confiar-hi excessivament i deixen de revisar-ne amb la mateixa atenció els resultats. Això genera una falsa sensació de seguretat: els errors són poc freqüents, però quan es produeixen tenen més probabilitats de passar desapercebuts i poden tenir conseqüències importants, especialment en àmbits tan sensibles com les investigacions policials o els processos judicials.

L’informe també alerta d’un altre risc emergent: la connexió de diversos sistemes d’IA dins d’un mateix procés. Si la informació produïda per una eina n’alimenta automàticament una altra, qualsevol error inicial es pot transmetre i amplificar al llarg de tota la cadena de decisions. Aquest fenomen, conegut com a “encadenament de sistemes d’IA”, encara ha estat poc estudiat, però els autors consideren que mereix una atenció prioritària.

Per afrontar tots aquests reptes, l’estudi formula 26 recomanacions dirigides a les administracions públiques, els organismes policials, el sistema judicial, els proveïdors tecnològics i la comunitat científica. Entre les mesures proposades destaquen la realització d’avaluacions independents de totes les eines d’IA, la creació de registres públics que permetin conèixer quins sistemes s’utilitzen, l’establiment d’estàndards més exigents per a la seva adquisició i validació, una millor formació dels professionals i una investigació específica sobre els riscos derivats de la interacció entre diferents sistemes d’intel·ligència artificial.

En definitiva, l’estudi no qüestiona la utilitat de la IA en l’àmbit policial ni defensa frenar la innovació. Al contrari, conclou que aquestes tecnologies poden aportar un gran valor quan s’utilitzen de manera responsable i transparent. El veritable repte és assegurar que el desenvolupament tecnològic vagi acompanyat d’un marc sòlid de governança, supervisió i rendició de comptes. Només així serà possible aprofitar els beneficis de la intel·ligència artificial sense comprometre els drets fonamentals, la qualitat de les investigacions i la confiança de la ciutadania en les institucions de seguretat.

_____

Esta entrada en español / This post in English / Post en français

Août

Notes de seguretatDeixa un comentari

Merci à tous pour votre collaboration. Nous nous revoyons le 7 septembre. Bonnes vacances!

_____

Aquest apunt en català / Esta entrada en español / This post in English

August

Notes de seguretatDeixa un comentari

Thank you for your co-opration. We return on 7 September. Have a good summer!

_____

Aquest apunt en català / Esta entrada en español / Post en français