Un informe de AlgoRace desarrollado por Naiara Bellio con la colaboración de Ana Valdivia y Javier Sánchez Monedero y la edición de Griff Ferris y Sofia Lyall.

En toda España, las autoridades policiales y del sistema judicial y penal emplean sistemas basados en datos y toma de decisiones automatizada (ADM), así como sistemas de inteligencia artificial (IA), para apoyar la toma de decisiones de las Fuerzas y Cuerpos de Seguridad y del sistema penitenciario.

Estos sistemas, que a menudo se desarrollan e implementan de manera rápida, con poca transparencia o trascendencia pública, varían desde métodos avanzados de análisis computacional, que en ocasiones emplean IA y aprendizaje automático, hasta métodos básicos de análisis de datos y bases de datos no automatizadas. Influyen en decisiones reales que pueden tener consecuencias graves dentro del sistema judicial y penal, como la vigilancia y monitoreo policial, interrogatorios, registros, multas y sentencias más severas, así como decisiones relacionadas con la libertad condicional, migración y bienestar social.

Los sistemas predictivos empleados en el ámbito policial y judicial tienden a afectar de manera sobrerrepresentada a determinados grupos y comunidades, incluyendo mujeres, personas migrantes y racializadas, así como aquellas provenientes de clases trabajadoras.

Para analizar todas estas cuestiones, desde AlgoRace lanzamos este informe, el cual incluye algunos de los principales sistemas y bases de datos utilizados por la policía y el sistema de justicia penal en España. Así mismo, se examinan su funcionamiento, la manera en que influyen en las decisiones que afectan la vida real y las repercusiones que conllevan. El análisis también profundiza en cómo ciertos grupos y comunidades se ven particularmente expuestas y afectadas por estos sistemas.

Hallazgos clave

La primera sección del informe se centra en los sistemas «predictivos» desarrollados por la policía, incluyendo: sistemas de «predicción» del delito enfocados en la ubicación y que dice «predecir dónde y cuándo ocurrirá un delito; y sistemas de «predicción» del delito, perfilamiento y evaluación de riesgos centrados en la persona, que dice «predecir» la probabilidad de que un individuo cause daño o violencia en el futuro. Los sistemas de “predicción” del delito basados en la localización geográfica cubiertos son:

• El Sistema Predictivo de Apoyo a la Decisión en el Patrullaje Policial (P3-DSS) y EuroCop. Estos sistemas se utilizan para “predecir” delitos en determinadas ubicaciones e identificar las “zonas calientes” del crimen con el fin de asignar patrullas policiales o concentrar los recursos en áreas específicas. El P3-DSS se probó por parte de la Policía Nacional, mientras que algunas aplicaciones de EuroCop se continúan usando por policías locales. Estos sistemas se basan en datos históricos sobre delitos, los cuales, en muchos casos, reflejan sesgos estructurales existentes en el sistema de justicia y penal, lo que conduce a un exceso de vigilancia y control de comunidades marginalizadas y racializadas.

• DataWeb. Utilizado por los Mossos d’Esquadra en Cataluña, se apoya en los datos delictivos para localizar posibles crímenes.

Los sistemas de “predicción” del delito centrados en la persona, de perfilamiento y evaluación de riesgos utilizados por la policía que cubre este informe son:

• VioGén. Sistema de evaluación del riesgo de violencia de género utilizado por la Policía Nacional, evalúa el riesgo de reincidencia de los presuntos agresores. A pesar de su uso generalizado, se han planteado preocupaciones sobre su exactitud y el potencial de sesgo, especialmente en contra de las mujeres migrantes.

• EPV-R. Utilizado por la Ertzaintza en el País Vasco, evalúa el riesgo de violencia grave por parte de la pareja. Ha sido criticado por el uso de criterios subjetivos, incluyendo la nacionalidad del agresor, lo que puede generar resultados discriminatorios.

• VeriPol. Sistema utilizado para detectar denuncias falsas, analiza el lenguaje de los informes policiales para identificar posibles fraudes. Sin embargo, el uso de datos procedentes de los informes policiales y la influencia de las valoraciones realizadas por los agentes pueden reproducir sesgos sociales, especialmente contra personas cuyo idioma materno no sea el español. Según confirmó a Civio el Gabinete Técnico de la Dirección General de Policía, VeriPol dejó de estar operativo en octubre de 2024. Desde el Ministerio de Interior señalaron la carencia de validez en procedimientos judiciales como motivo principal.

La segunda sección del informe aborda sistemas “predictivos” usados en prisiones, ambos centrados en la “predicción” de delitos, el perfilamiento y la evaluación de riesgos de personas:

• DRAVY. Utilizado por las Instituciones Penitenciarias españolas, realiza un perfilamiento de los reclusos en riesgo de una supuesta «radicalización yihadista». El sistema presenta una alta tasa de falsos positivos, lo que conlleva condiciones de reclusión más estrictas para individuos que quizás no representen una amenaza real. Su aplicación afecta de manera desproporcionada a reclusos musulmanes, especialmente los de origen marroquí.

• RisCanvi, utilizado en las prisiones catalanas, evalúa el riesgo de reincidencia entre los reclusos. Aunque se utiliza para orientar las decisiones sobre libertad condicional y vigilancia, ha sido objeto de críticas debido a su falta de transparencia y el posible sesgo contra personas migrantes.

La tercera sección del informe presenta un resumen de tres de las principales bases de datos policiales en España, que almacenan grandes cantidades de datos sensibles sobre grupos marginalizados, incluidas personas migrantes y personas detenidas. Estas bases de datos son consultadas por las fuerzas del orden para respaldar la toma de decisiones y, en algunos casos, se utilizan para generar conjuntos de datos con los que entrenar sistemas algorítmicos de «predicción» del delito:

• ABIS. Sistema automatizado de identificación biométrica, almacena huellas dactilares e imágenes faciales de detenidos y sospechosos. Se utiliza para investigaciones criminales, pero plantea preocupaciones sobre la privacidad y el riesgo de identificación errónea.

• ADEXTTRA y ADPASFIL. Bases de datos utilizadas para gestionar la información de personas migrantes, incluidos datos biométricos y estatus migratorio. Suelen estar desactualizados, lo que provoca detenciones y deportaciones erróneas de individuos con estatus legal.

Cuestiones clave

El uso de sistemas basados en datos, ADM e IA por parte de las fuerzas del orden y autoridades del sistema jurídico y penal, plantea serias preocupaciones, con consecuencias significativas para los derechos de los individuos, incluidos el derecho a juicio justo, a privacidad y a libertad frente a la discriminación. El análisis de este informe aborda las siguientes cuestiones:

• Criminalización: los sistemas de «predicción» del crimen asignan etiquetas a personas y lugares como si fueran criminales. En España, los sistemas centrados en la localización como el P3-DSS y EuroCop, orientan a la policía hacia lo que se consideran «puntos calientes» del crimen. Por su parte, los sistemas enfocados en las personas o en la evaluación del riesgo individual, como VioGén y RisCanvi, etiquetan a ciertos individuos como potencialmente criminales o violentos. Esto aumenta la probabilidad de que las personas de esas áreas o aquellas que se ajustan a estos perfiles sean criminalizadas, lo que puede resultar en consecuencias más severas dentro del sistema judicial y penal.

• Discriminación: muchos de estos sistemas dependen de datos históricos que reflejan y reproducen los sesgos existentes en la policía y el sistema de justicia. Esto conduce a una vigilancia excesiva de comunidades vulnerabilizadas, especialmente de los grupos racializados, migrantes y zonas de bajos ingresos. Ejemplos de ello son los sistemas VioGén y EPV-R, que incorporan la nacionalidad y el estatus migratorio como factores de riesgo específicos.

• Transparencia y rendición de cuentas: el uso de estos sistemas a menudo carece de transparencia, con una escasa conciencia pública sobre su implementación. Las solicitudes de acceso a la información son con frecuencia rechazadas y no existe a día de hoy un registro público exhaustivo de los sistemas ADM en uso. Esta falta opacidad impide una supervisión efectiva y una rendición de cuentas adecuada.

• Vigilancia masiva y el derecho a la privacidad: sistemas «predictivos» usados en la policía y en el sistema judicial penal dependen de la recopilación y el análisis de grandes volúmenes de información personal por parte del Estado. Los sistemas y bases de datos mencionados en este informe manejan información sensible como la nacionalidad, etnia, género, historial migratorio, nivel educativo y laboral, ocupación, imágenes faciales y huellas dactilares. El volumen de datos necesario para alimentar los sistemas predictivos, junto con la naturaleza altamente personal de la información que procesan, pone en riesgo el derecho a la privacidad, al generar una intrusión innecesaria en la vida personal de los individuos.

Este informe tiene como objetivo proporcionar una visión detallada del funcionamiento y las operaciones de los sistemas automatizados de toma de decisiones basados en datos empleados en ámbitos policiales, judiciales y penales, así como analizar y comprender su impacto en las personas y en la sociedad.

La fase de investigación correspondiente a este informe concluyó en diciembre de 2023. Por motivos de organización, la publicación se ha visto pospuesta hasta la fecha actual. En consecuencia, la información que aquí se presenta se basa en entrevistas y en análisis documentales realizados hasta finales de 2023, sin contemplar actualizaciones posteriores de los sistemas estudiados ni la adopción de nuevas disposiciones normativas.