La práctica apolítica de la recogida de datos

Publicado por Youssef Ouled en 7 de noviembre de 20257 de noviembre de 2025

AlgoRace es un proyecto conformado por un equipo multidisciplinar con la finalidad de integrar conocimiento y experiencias de diferentes ámbitos. Nuestro cometido fundamental es desgranar las implicaciones raciales que tiene el uso de sistemas de IA y algorítmicos, o como los llamamos en el equipo, sistemas sociotécnicos, puesto que estos se diseñan, desarrollan e implementan en un contexto atravesado por diferentes desigualdades y discriminaciones estructurales. Razón por la que tampoco no pueden ser neutrales.

No se trata solo del sesgo de la persona que piensa, díseña e implementa los diferentes sistemas que hoy día se emplean en prácticamente todos los ámbitos de nuestra vida, tanto a nivel de sector privado como público, sino que el por qué y el para qué se usan es en sí una decisión atravesada por sesgos.

Tampoco es una práctica imparcial la recogida de datos. Una realidad que podemos observar en la forma en que países como China emplea la recogida de datos de la vida de la población uighur en Xinjiang para su control y represión, bajo el pretexto de la seguridad nacional y la lucha contra el terrorismo. Pero no nos quedemos solo en el ejemplo del gigante asiático, tan empleado en Europa para confrontar modelos regulatorios que serían más favorables a este lado. Numerosas investigaciones señalan cómo estados como israelí, emplean desde hace años la datificación del pueblo palestino para perfeccionar tecnologías de uso armamentístico, que después son adquiridas por países occidentales. Una práctica que se ha mantenido estos dos años que dura el genocidio en Gaza.

Sin embargo, no hace falta irse tan lejos, en las fronteras exteriores de la UE, empleando el mismo argumento que China e Israel, los países con fronteras exteriores usan la datificación de la población del sur global no solo sin ponderar el impacto que esta práctica tiene en sus derechos humanos y fundamentales, sino también como herramienta de control y represión como hemos podido documentar en el informe desarrollado junto a EuroMed Rights “Tecnología Digital para el Control Migratorio en la Frontera Sur de España”.

Una práctica denunciada por la propia relatora de Naciones Unidas sobre racismo, discriminación racial y xenofobia, Tendayi Achiume, quien niega el carácter “apolítico” de la recogida de datos, “especialmente cuando poderosos actores del norte global recogen información sobre población vulnerable sin que haya métodos regulados de control y rendición de cuentas”. Conjuntos de datos que, como hemos podido ver en nuestro último informe, “Sistemas policiales predictivos y de perfilamiento en el ámbito policial y judicial en España”, alimentan diferentes sistemas como los de “predicción”, que conllevan resultados discriminatorios y sesgados que ahondan en las desigualdades ya existentes.

La recogida de datos desglosados por raza y etnia es una medida demandada por las organizaciones antirracistas que se niega desde las administraciones bajo la justificación de que esta puede acabar siendo una herramienta de doble filo, pero en la práctica esos elementos de racialización ya se dan.

Otro de los cometidos de AlgoRace es la sensibilización. Generalmente, hay poco conocimiento de los sistemas en funcionamiento, en gran medida, debido a la opacidad y falta de trasparencia a todos los niveles que impide no solo conocer cuando estamos siendo sometidos a estos sistemas, también el impacto que su uso puede estar teniendo nuestros derechos y libertades fundamentales.

Para combatir esta realidad, desde AlgoRace hemos impulsado el Grupo Semilla, una red de colectivos y organizaciones antirracistas que lucha contra la desigualdad y discriminación experimentada por personas migrantes y racializadas a consecuencia de un racismo estructural que también nos afecta en el ámbito digital. Para profundizar en esta cuestión no solo hemos organizado formaciones y coloquios en las inmediaciones del Congreso de los Diputados, también hemos elevado a la Mesa de presidencia del Congreso un documento elaborado por la red con una serie de propuestas que consideramos esenciales en la lucha contra el racismo y la desigualdad generada en y por el ámbito digital.

En ese documento especificamos que la vulneración de derechos no solo se produce en el entorno digital y a través de estos sistemas, la propia constitución de este entorno se sustenta en una lógica colonial de extracción de recursos minerales, explotación de mano de obra e impacto medioambiental que va más allá de la nube. Lo que hacemos a nivel digital deja huella y rastro material, y generalmente, quienes más pierden en el proceso son los países del sur global, convertidos en lugares de extracción y de ubicación de desechos tecnológicos.

AlgoRace también forma parte de IA Ciudadana, una coalición de organizaciones de la sociedad civil que trabaja para defender los derechos humanos en el contexto de las tecnologías digitales, a través de ampliación de los espacios de participación de la sociedad en la regulación y en la gobernanza de la IA y los algoritmos, con el fin de conseguir que estas tecnologías protejan a las personas y promuevan la justicia social. Recientemente, desde esta coalición se ha pedido al Gobierno del Estado español un registro central de algoritmos transparente para evitar y combatir las discriminaciones y vulneraciones mencionadas.

Una petición acompañada de un estudio que incluye recomendaciones sobre cómo debe ser este registro, diseñado en colaboración con la sociedad civil, transparente y accesible, el cual debe contar con obligatoriedad de incluir en él los sistemas empleados a nivel público y privado, información de funcionamiento e impacto. Registros que ya existen en Francia, Reino Unido y Países Bajos, e incluso Cataluña, Comunidad Valenciana y País Vasco, pero no a nivel nacional.

Ya en el año 2023, algunas de las organizaciones que conformamos IA Ciudadana desarrollamos unas jornadas bajo el nombre Democracia, Algoritmos y Resistencias que se materializaron en un documento llamado “Propuestas para regular la IA desde una perspectiva de Derechos Humanos”. Este documento incluía un “Decálogo de justicia de datos” que recoge 10 ideas para avanzar hacia una IA que respete los derechos con las que acabaré mi exposición:

• La IA no es neutral. Es necesaria su democratización y la incorporación de una visión feminista, antirracista y decolonial en su creación y desarrollo. Ha de responder a una filosofía de código abierto en todas sus capas de producción.
• La privacidad ha de ser contemplada como derecho colectivo y no únicamente como un derecho individual. Es necesario caminar hacia una soberanía de datos que garantice el acceso y la gobernanza de los datos personales y colectivos.
• Los datos deben ser tratados como infraestructura crítica y no como un bien de mercado.
• La recogida de datos personales y colectivos no se llevará a cabo para predecir comportamientos, sino para tener un mejor conocimiento sobre situaciones de vulnerabilidad.
• No se permitirá la toma de decisiones automatizada en cuestiones que afecten a los derechos de las personas.
• El diseño de la IA deberá contar siempre con equipos diversos, representantes de colectivos minorizados conocedores de la materia, y de las estructuras de desigualdad que componen nuestras sociedades. Estas personas tendrán capacidad de incidencia en el diseño del producto final.
• Toda la cadena de suministro de la IA debe respetar los derechos humanos y actuar para paliar la situación de emergencia climática actual, desde la obtención y reciclaje de los materiales para construir el hardware hasta los centros de datos, pasando por la contratación de personas para el etiquetado y clasificación de datos para el entrenamiento del algoritmo.
• El estado creará y proveerá de recursos como la figura del Defensor del Pueblo Datificado y la del Consejo Popular del Dato. A través de estas instituciones, la ciudadanía obtendrá recursos y acompañamiento para ejercer control sobre la IA, denuncia en el caso de vulneración de derechos, exigencia de participación ciudadana u otras cuestiones relacionadas.
• Se realizarán auditorías externas de los algoritmos que utilicen las Administraciones públicas y/o las empresas privadas que desarrollan servicios públicos, cuyos resultados serán públicos y accesibles. Estas responderán a criterios de democratización y garantía de derechos y supervisarán que los algoritmos sean explicables.
• Y, por último, se fomentará el uso y la traducción de los contenidos relativos a la IA a otras lenguas, así como un cambio de nomenclatura y aproximación (también desde la academia) que visibilice peligros y realce una perspectiva inclusiva respecto a la diversidad.

Ideas que nos permitan avanzar hacia una IA que respete los derechos humanos.