¿Es realmente la tecnología neutral?

Por Quellamita (Grupo Semilla)

Mi incorporación al Grupo Semilla, una red de organizaciones antirracistas lideradas por personas migrantes y racializadas, me ha generado múltiples reflexiones sobre la idea de neutralidad que se atribuye a los sistemas informáticos y “sociotécnicos” citando a Javier Sanchez, integrante de AlgoRace, organización impulsora de la red.

La primera vez que escuché poner en cuestión estos sistemas por arrojar resultados racistas, machistas, etc. pensé: ¿Acaso podemos esperar que un software desarrollado bajo el paraguas de un sistema que se erige sobre la explotación de ciertos cuerpos pudiera ir en contra de su propio creador? Y la respuesta era que sí, de estos sistemas se esperan mejores decisiones y mayor neutralidad. Lo que sea que quiera decir esto. Como si los sistemas informáticos, los modelos matemáticos o la glamurosa IA no estuvieran condicionados a las subjetividades y deseos de sus creadores.

Por mi parte, en el presente texto me centraré  en los modelos matemáticos porque constituyen una pieza clave en esta maraña de sistemas. Como explica la matemática y activista Caty O’Neil en Armas de Destrucción Matemática (Capitán Swing), los modelos son una simplificación del mundo en el que vivimos y, como tal, nunca podrán incluir toda su complejidad. Así que, por definición, cometen errores. Cuando se construye un modelo se toman decisiones muy relevantes, como qué se considera importante para ser incluido y qué no, las múltiples variables de las que no seremos conscientes o las que no podrán ser recogidas. En consecuencia, el resultado es una representación de juguete del mundo, una versión sencilla que  se presupone la capacidad de deducir hechos y/o acciones.

Además, estos modelos se entrenan con datos, por lo que habría que preguntarse, por un lado, si el conjunto de estos es suficientemente representativo de toda la población y, por otro lado, que hegemonía cultural se introduce en modelos como los que ocasionaron que Amazon, IBM o Microsoft fueran incapaces de clasificar los rostros femeninos de pieles más oscuras con la misma precisión que los de los hombres blancos, tal y como evidenció la investigación de la informática y activista digital Joy Buolamwini. O como el reconocimiento automático de género, subcampo del reconocimiento facial, pone en funcionamiento categorías de género de una forma transexclusiva como explica Os Keyes en su publicación.

La solución a problemas estructurales como el racismo, el machismo, el capacitismo o la lgtbiqfobia no pasa por recetas simples como entrenar modelos con datos más diversos, saturarlos de variables o usar proxies que enmascaran aún más el problema. De hecho, los modelos que se han presentado como carentes de “sesgos raciales” han acabado ocultando su perniciosidad. Es el caso de PredPol, un programa de predicción de delitos que fue el último grito de moda en departamentos de policía con poco presupuesto de los EEUU y que se presentaba como un modelo que no veía razas ni colores en la predicción de delitos, porque no se centraba en personas, sino en la geografía, es decir, donde supuestamente ocurriría el delito. 

En teoría, PredPol se creó para prevenir delitos mayores, pero la realidad es que la mayoría de delitos que se cometen son menores, así que lógicamente tendremos más datos de estos últimos. Una tipología que pueden ser endémica en barrios empobrecidos (desorden público, hurtos, venta de pequeñas cantidades de droga, etc.) y si lo que se vigila son principalmente estos barrios, tenemos un modelo que se retroalimenta, generando que la policía vigile cada vez más los mismos lugares en los que cada vez detectará más delitos menores que retroalimentarán el modelo. En consecuencia, se enviarán más policías generando un bucle de criminalización. Y es así como un modelo que se vendía como ciego a las razas acaba sobrevigilando barrios donde fundamentalmente viven personas no blancas y pobres, infiriendo la raza a través de su geografía. Sin embargo, lo que se está trazando en el mapa no es el rastro de la criminalidad, sino el de la pobreza.

Una cuestión a la que merece la pena prestar atención, ya que este tipo de asociaciones es constante. La razón por la que se decide incorporar datos de delitos menores a PredPol, un modelo inicialmente pensado para delitos mayores, es porque se vincula unos y otros mediante creencias basadas en la tolerancia cero de la criminalidad y sin ninguna base científica. Además, al incorporar datos de delitos menores al modelo, en su conjunto mejora los resultados y su “tasa de acierto”. Este es el rigor y “ciencia” con la que nos encontramos en lo que llaman ciencia de datos. 

Esto nos tendría que llevar a poner en cuestión el uso de modelos matemáticos empleados para “decidir” o “herramientas de apoyo” en decisiones finales que atañen a libertades y derechos fundamentales, y que ponen en riesgo a la sociedad en su conjunto, pero especialmente a los cuerpos más vulnerabilizados. Puesto que no solo ocurre por lo que supone un modelo por definición, sino también porque estos funcionan como cajas opacas, ya sea por las técnicas con las que se construyen como por la falta de transparencia de las entidades desarrolladoras.

Dentro de este mismo ámbito podemos situar a RisCanvi, una herramienta de apoyo a la decisión de solicitud de permisos para reclusos de las prisiones catalanas que presume de calcular el riesgo de reincidencia de los presos. Así lo expresa el jefe de servicios de rehabilitación de la Dirección General de Asuntos Penitenciarios en un artículo de El País:

En la versión completa de RisCanvi se tienen en cuenta cuestiones como la distancia entre su domicilio y la cárcel, la historia criminal de su entorno, el nivel educativo, dificultades de socialización, coeficiente intelectual, desórdenes de personalidad, si el interesado es la principal fuente de ingresos de la familia o su nivel de impulsividad e inestabilidad emocional. Cada uno de estos elementos es ponderado automáticamente y su peso varia dependiendo del sexo, la edad y la nacionalidad. El veredicto final del algoritmo puede ser riesgo bajo, medio o alto.

Aún sin conocer el peso de cada una de estas variables en la decisión final, es fácil imaginar que los presos más privilegiados serán los que saldrán mejor parados ante preguntas relacionadas con su nivel educativo, historial criminal de su entorno, nacionalidad, género, neurotipicidad o salud mental. Además, es curioso como con RisCanvi, igual que se hacía con PredPol, se usa el argumento de la neutralidad de estos sistemas en contraposición con los sesgos humanos, tal y como defendía el jefe de servicios de rehabilitación de la Dirección General de Asuntos Penitenciarios:

“… quienes trabajan con reclusos pueden tener sus propios sesgos. Los violadores, por ej., suelen tener muy buena conducta en prisión, y eso podría cegar la valoración de un funcionario. También puede haber quien penalice a reclusos de etnia gitana o drogadictos. Todos estos sesgos quedarían atenuados gracias al algoritmo”

En realidad, lo que hacen estos sistemas es ocultar aún más estos “sesgos” y potenciar su peligrosidad mediante la escalabilidad de sus modelos. En este sentido, la consultora Eticas Consulting realizó una auditoría a RisCanvis concluyendo que: 

Basándonos en los datos disponibles, llegamos a la conclusión de que RisCanvi no cumple su función y actualmente no es capaz de ofrecer las garantías necesarias a reclusos, abogados, jueces y autoridades de justicia penal. Como ocurre con cualquier auditoría adversarial, nuestras conclusiones no son definitivas. No pudimos acceder a los datos del sistema, por lo que no pudimos corroborar nuestras observaciones. Pero existen al parecer suficientes datos sobre la mesa para justificar un nuevo análisis del sistema.

Y es que utilizar estos sistemas opacos en entornos especialmente vulnerables, como el sistema de justicia penal, pone en riesgo fundamentalmente a los cuerpos más vulnerabilizados de la sociedad que somos los que ya sufrimos las violencias de un sistema racista, colonial y patriarcal, ocultando estos sesgos y amplificando el daño, puesto que estos modelos generalmente son escalables, lo que a diferencia del sesgo humano hace difícil que podamos escapar de él. Todo esto gozando del prestigio de lo que se entiende como avances tecnológicos de una ciencia de datos supuestamente más neutral y, por tanto, más capacitada en la toma decisiones.Con el panorama descrito, nos encontramos nuevamente ante un norte global que sustenta “sus avances” sobre la explotación del Sur Global y del extractivismo, no sólo de minerales necesarios para construir la infraestructur física necesaria, destruyendo los ecosistemas que los albergan y empeorando las condiciones de vida de las poblaciones que los habitan, sino también de la energía, y el agua necesario para enfriar grandes centros de datos indispensables para su funcionamiento. Incluso en territorios del propio Norte Global, como es el caso de los centros de datos de Amazon en Aragón. No obstante, son nuestros cuerpos negros, marrones, feminizados, migrantes, no normativos los que que van a sufrir principalmente las consecuencias como explicamos en el artículo sobre el reglamento de IA de la UE. Una vez más, es el Sur el que pone recursos y cuerpos.

Este artículo ha sido posible gracias al apoyo del proyecto Fondo de Empoderamiento y Resiliencia, coordinado conjuntamente por ENAR y la Fundación ENAR.