La automatización del racismo y el sexismo institucional

Una computadora racista está decidiendo tu futuro y vos no lo sabés

En febrero de 2019, Nijeer Parks, un carpintero de la ciudad de Patterson, en Nueva Jersey, recibió una llamada de su abuela: la policía de la localidad de Woodbridge se había presentado en la casa que ambos compartían para arrestarlo, acusado de un robo que había terminado con su huida y el intento de atropello de dos agentes de policía. 

Parks pensó que todo se trataba de un error sin importancia. Al fin y al cabo, nunca había puesto el pie en Woodbridge, una ciudad a 40 minutos de su hogar. Pero al presentarse en la comisaría para aclararlo, fue esposado y detenido. Pasó los siguientes diez días en prisión. “Estaba muy asustado”, dice Parks, que hoy tiene 35 años. Cuando fue puesto en libertad sin cargos y recibió el informe policial del caso, por fin entendió lo que había pasado: una herramienta de reconocimiento facial lo había señalado como responsable. “En lo único que nos parecíamos él (sospechoso) y yo es en que los dos tenemos barba. Podría haber pasado años en la cárcel por esto”.  

El caso de Parks parecería casi sacado de una película distópica de ciencia ficción si no fuera porque es real. En Estados Unidos, un país donde el desarrollo tecnológico en Silicon Valley y el capitalismo sin control se dan la mano, la inteligencia artificial está ya integrada en multitud de procesos de toma de decisiones que nos afectan íntimamente, muchas veces para mal. 

La ubicuidad de esta tecnología afecta a ámbitos cruciales: modelos bancarios que conceden créditos, hipotecas y tipos de interés menos ventajosos a compradores afroamericanos, algoritmos que otorgan peor puntuación a las mujeres que solicitan puestos de trabajo en empresas tecnológicas, hospitales que brindan peores tratamientos a personas de color, instituciones educativas que predicen qué notas merece sacar un estudiante en función de los resultados históricos de alumnos similares en su misma escuela… Esta tecnología, más que crear el mundo justo y eficiente que Silicon Valley había prometido, en muchas ocasiones está reproduciendo y amplificando sus desigualdades más flagrantes.

El problema, explican los expertos, es que, para aprender a ser “inteligentes”, estos modelos necesitan engullir cantidades ingentes de datos. Y en la manzana se encuentra el pecado original: si los datos contienen errores y sesgos implícitos, el sistema los reproducirá y amplificará, pero disfrazados de objetividad y exactitud computacional. 

Un ejemplo para explicarlo que usa Meredith Broussard, profesora de la New York University especializada en los efectos discriminatorios de la inteligencia artificial y autora de dos libros sobre el tema, son las estadísticas policiales. Estas bases de datos recogen cifras de arrestos, muchos de los cuales tienen lugar en barrios de mayoría afroamericana que históricamente la policía ha patrullado con mayor intensidad. Lo que la policía no sabe es cuántos terminan de verdad con el procesamiento del sospechoso y cuántos se desestiman sin dejar mácula en el historial policial. Sin embargo, si alimentás un modelo informático con esta información sin más contexto, el sistema llegará a la conclusión de que los negros cometen más crímenes que los blancos y que son más peligrosos. El resultado de este proceso es la automatización del racismo y el sexismo institucional.

Si los datos con los que se entrena para ser ‘inteligente’ contienen errores y sesgos implícitos, el sistema los reproducirá y justificará

La detención del propio Nijeer Parks es un ejemplo de cómo datos corrompidos pueden llevar a errores de consecuencias catastróficas. El suyo es uno de los (por ahora) cinco casos conocidos de detenciones policiales erróneas basadas en sistemas de reconocimiento facial en Estados Unidos. Los cinco son hombres negros. Ya desde que en 2015 salió a la luz que el algoritmo de Google Photos etiquetaba como “gorilas” los rostros de las personas negras, los sistemas de reconocimiento facial alimentados por inteligencia artificial han demostrado una y otra vez que son más propensos a cometer equivocaciones cuando se trata de reconocer e identificar rostros de color. Las fotografías de personas caucásicas son dominantes en internet y los ordenadores aprenden a identificar sus rasgos con mayor precisión que los de otras razas. 

Una tecnología que no funciona

Para Nathan Freed Wessler, un abogado de la Unión Americana de Libertades Civiles (ACLU) que actualmente representa en los tribunales a otro ciudadano de Detroit detenido erróneamente debido a un algoritmo, la solución no pasa por perfeccionar la inteligencia artificial para que sea más efectiva al identificar a personas racializadas, sino por no utilizarla en absoluto en prácticas policiales. “Es demasiado peligroso, por los riesgos de identificación, que afectan desproporcionadamente a las personas de color, pero también por el potencial de una abrumadora vigilancia por parte gobierno”, dice. 

Tras incidentes como el de Parks, al menos 20 ciudades, entre las que se encuentran Nueva Orleans, en Luisiana, y Oakland y San Francisco en California, han prohibido a los cuerpos policiales el uso de tecnologías de reconocimiento facial. Parks ha denunciado a la ciudad de Woodbrige por falso encarcelamiento y violación de derechos civiles. 

Los efectos discriminatorios de la inteligencia artificial también se dejan sentir en el empleo. Amazon, una de las corporaciones líderes en el uso de inteligencia artificial, descubrió en 2015 que el sistema automático que estaba empleando para examinar candidatos discriminaba a las mujeres. De nuevo, los datos justificaban el error. Como muchas otras empresas tecnológicas, históricamente Amazon ha contratado a menos mujeres que a hombres, con independencia de sus cualificaciones. El sistema estaba listo para replicar ese patrón, así que asignaba un puntuación menor a currículums que mencionaran la palabra “mujer”, como por ejemplo, haber sido “capitana del club de ajedrez femenino”. 

A pesar de que la ley prohíbe prácticas discriminatorias como esta, la opacidad absoluta sobre cómo se aplica la tecnología a los procesos de contratación es una barrera para la litigación. Ninguna empresa está obligada a revelar que detrás de la evaluación de currículums hay un algoritmo en lugar de un ser humano. O que en plataformas como Linkedin pueden segmentar los anuncios de ofertas de empleo para que sean visibles para determinados grupos de personas en función de criterios demográficos o geográficos que pueden resultar excluyentes. O que hay ‘software’ que analiza los vídeos de entrevistas para evaluar la personalidad de los candidatos en función del tono de voz, el contacto visual, la expresión facial o el lenguaje corporal. “La gente no tiene ni idea de que están siendo utilizadas este tipo de herramientas –explica Olga Akselrod, abogada especializada de ACLU–. Saben que solicitaron un trabajo, que hicieron una entrevista y que no los llamaron, pero no saben por qué”. 

En este panorama del salvaje oeste regulatorio, la norma es la opacidad. Las empresas no quieren revelar sus algoritmos ni que los usan

Los algoritmos también pueden dictar qué tipo de cuidados médicos recibimos. En 2019, un grupo de investigadores de la universidad de Berkeley (California) descubrió que existía un sesgo racial en uno de los algoritmos más extendidos en los hospitales estadounidenses, un modelo matemático que se aplica a más de 200 millones de personas al año. El algoritmo, en su intento de asignar recursos sanitarios de forma eficiente, ponderaba el coste por individuo como variable para clasificar a los pacientes en función de su gravedad. Pero como el sistema sanitario tradicionalmente gasta menos en los afroamericanos que en las blancos, consideraba erróneamente que los pacientes negros están más sanos y no requerían atención adicional, aunque en la realidad padecieran los mismos (o peores) problemas de salud crónicos que los blancos.

Auditorías algorítmicas

“La medicina es diferente que predecir qué película vas a querer ver en Netflix”, dice Ziad Obermeyer, uno de los investigadores de Berkeley. A pesar de todo se muestra optimista sobre la aplicación de la inteligencia artificial en ciertos contextos médicos, como el diagnóstico de ataques al corazón en los servicios de emergencias: “La buena noticia es que, si nos damos cuenta de estos problemas, los datos que tenemos en el sistema de salud son tan ricos que puede solucionarlos”. Sin embargo, para poder encontrar las trampas en el algoritmo hospitalario fue imprescindible que la empresa propietaria les concediera acceso sin cortapisas al código. Y no todas las compañías están dispuestas a dejar que se hurgue en las tripas del código. “A las empresas no les gusta revelar exactamente cómo funcionan sus algoritmos. Les gusta llamarlo un secreto comercial”, dice Broussard. 

Ante la parálisis de los organismos regulatorios y del Congreso norteamericano, que avanza a velocidad de caracol mientras Silicon Valley, siguiendo su lema, “se mueve rápido y rompe cosas”, cada vez son más los expertos en Estados Unidos que ven auditorías algorítmicas como la de Obermeyer como uno de los mecanismos de control más efectivos para evitar que aplicaciones de inteligencia artificial tengan todos estos efectos discriminatorios y racistas. La auditoría algorítmica consiste en observar un algoritmo o programa y desarmar su código y la base de datos que lo alimenta para ver cómo funciona y los potenciales sesgos y resultados problemáticos que puede ofrecer. Para Broussard, deberíamos preguntarnos más a menudo: “¿Qué es lo peor que podría pasar?”.

En este panorama de salvaje oeste regulatorio, donde los ordenadores están ya tomando decisiones cruciales y, en ocasiones, erróneas, perjudiciales y discriminatorias, los humanos tenemos otro pequeño problema: nosotros mismos. El llamado “sesgo de automatización” nos empuja a favorecer el criterio de una máquina, incluso cuando contradice nuestro sentido común. Broussard tiene otro nombre para el mismo fenómeno, y cree que es la ideología que se empuja desde Silicon Valley: “Chovinismo tecnológico”. “Las empresas tecnológicas quieren reemplazar a las personas con ordenadores, pero no debemos apresurarnos”, dice. “La inteligencia artificial no funciona tan bien como la mayoría de la gente piensa”.

Este artículo forma parte de la revista 'Inteligencia Artificial. Riesgos, verdades y mentiras', exclusiva para socios y socias de elDiario.es.