Te van a echar del trabajo por el big data (y no sabrás por qué)

Me vas a disculpar que sea brusco contigo. Cada vez son más las multinacionales que utilizan datos masivos y algoritmos opacos para contratarte, despedirte y cobrarte más por el seguro médico privado, el del coche y el del hogar, si tu perfil se ajusta a tal o cual categoría según los dictados de los analistas, los modelos automáticos y la inteligencia artificial. No tienes derecho a acceder a los algoritmos porque, incluso cuando los utilizan las instituciones públicas, están protegidos por el secreto industrial de los contratistas.

Efectivamente, las administraciones también han empezado a tomar decisiones que afectan a nuestras vidas apoyándose en unos modelos cuyo funcionamiento no podemos conocer y que en muchos casos —por una combinación entre las restricciones legales que mencionábamos, el exceso de confianza de los políticos y la falta de formación técnica— ellas tampoco entienden.

Por supuesto, las empresas les dicen que se limitan a medir con sus sistemas, por ejemplo, la calidad del trabajo de los educadores en la enseñanza pública, pero no les explican cómo lo hacen exactamente, todos los criterios que utilizan y qué peso tiene cada criterio. Los políticos y los funcionarios aceptan los resultados y actúan en consecuencia. No está ocurriendo en Shanghái o Singapur, prebostes del paternalismo déspota, sino en la democrática y liberal ciudad de Nueva York.

Esta es la experiencia de Cathy O’Neil, antigua analista de datos en Wall Street y exprofesora del prestigioso Barnard College: «La ciudad de Nueva York no me dejó acceder al código y el algoritmo que se habían utilizado para evaluarme como profesora ni siquiera cuando los pedí mediante la Ley de Transparencia». Los funcionarios del Departamento de Educación le reconocieron que ellos tampoco podían acceder, porque así se había estipulado en el acuerdo entre la institución y el suministrador del software.  

En Estados Unidos esas evaluaciones sirven, entre otras cosas, para identificar a los malos profesores, tomar medidas contra ellos y despedirlos si es preciso. Su implantación en Europa ya ha comenzado. No hace falta decir que los docentes están indefensos.

Cathy ha escrito un libro fascinante, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, en el que también se refiere a un asunto especialmente grave: la utilización actual de los datos masivos en la selección y despido de personal y en el ámbito de la salud.

Despidos y contrataciones

Cuando las empresas contratan o despiden a alguien, emplean unos criterios que, al menos en un nivel superficial, son conocidos. Los requisitos para el puesto suelen publicarse y se valoran las experiencias anteriores del candidato y su formación especializada. Los despedidos sospecharán, al menos, que su jefe no confiaba en ellos, que sus compañeros no los soportan o que la empresa atraviesa dificultades y necesita recortar plantilla.

¿Pero qué ocurre si la empresa tiene que despedir a un número determinado de trabajadores y el sistema propone automáticamente a unos cuantos utilizando, como es costumbre en el big data, información como la calidad y perfil de su participación en las redes sociales? ¿Qué sucede cuando los ‘elegidos’ lo son no por lo que hayan hecho hasta ahora, sino por lo que el sistema dice que harán con toda probabilidad gracias a unos modelos predictivos?

Por desgracia, la inmensa mayoría de los miembros de Recursos Humanos o no están preparados técnicamente o no cuentan con los permisos necesarios para investigar a fondo el funcionamiento del sistema (y tampoco los inspectores de trabajo). Hasta aquí hemos hablado de despidos, pero la cuestión de las contrataciones no es menos preocupante.

Como indica Cathy O’Neil, la inteligencia artificial no sólo no está exenta de prejuicios —entre los que pueden destacar el sexismo, el clasismo y el racismo—, sino que los «codifica y automatiza y les proporciona una falsa imagen de neutralidad». Los robots no sólo reproducen nuestra belleza y nuestra luz, sino también muchos de los complejos, debilidades y mala fe que escondemos en el fondo más oscuro de nuestra conciencia.

La traducción es muy sencilla. Como asumimos que las máquinas son frías, objetivas y capaces de procesar millones de variables en pocos segundos, nos sentimos especialmente predispuestos a aceptar los resultados de sus análisis como verdades absolutas. Aunque el primer filtrado automático de candidatos posibles para un puesto promete un ambiente libre de enchufes, Cathy nos recuerda que esa promesa vendrá probablemente acompañada de «un sesgo contra los enfermos y contra los pobres».

No es difícil utilizar los datos masivos de geolocalización para excluir a la gente de determinados barrios o vecindarios deprimidos o para asumir que sus habitantes tenderán a enfermar más, porque es lo más frecuente en las personas que carecen de recursos o de cultura y tiempo para comer bien y hacer ejercicio. Las empresas tomarán precauciones y evitarán seguramente a quienes puedan faltar más veces a la oficina por una baja médica.

De todos modos, la experta estadounidense no sólo se refiere a los pobres y los enfermos, sino también a todos los colectivos que el programador o el analista de datos estime poco adecuados para cubrir la vacante. Es decir, además de esos, podríamos añadir a mujeres en edad fértil y con pareja estable, a homosexuales o a negros, por ejemplo.

Los de siempre: hombres blancos heterosexuales

Si los criterios que los discriminan están ocultos en un algoritmo y el secreto industrial no les permite consultarlo, es posible que una ONG o una administración dedicada a perseguir el sexismo, la homofobia o el racismo esté utilizando para reclutar personal un sistema que favorece injustamente a los hombres, los heterosexuales y los blancos.

Se puede dar perfectamente otra circunstancia demencial. Veamos: resulta bastante sencillo identificar a alguien que no es blanco, a una mujer en edad fértil con pareja estable o a un homosexual orgulloso de serlo en las redes sociales, pero no lo es tanto rastrear, por ejemplo, a un trabajador responsable. Así que…

¿Cómo se diferencia, utilizando las redes sociales y la información pública en internet, a un joven que aparece en fotos sucesivas tomándose una copa (o dos) todos los viernes de un alcohólico? ¿Cómo distinguiremos a una mujer o un hombre serios de un completo idiota —y hortera—, si procesamos las imágenes de su despedida de soltero?

Tiene cierta gracia que los superordenadores hayan heredado muchos sesgos típicos de la ineptitud estadística de la mente humana, tal y como los resume el psicólogo y premio Nobel de Economía Daniel Khaneman en Pensar rápido, pensar despacio. Sacan demasiadas conclusiones aunque existan pocos datos disponibles, se comportan como si poseyeran toda la información relevante aunque no sea así y sustituyen una pregunta compleja (¿encajará este señor como gerente en nuestro departamento de Tecnología?) por otra sencilla (¿actuó como un cretino el sábado pasado?) para ofrecer una respuesta rápida a su interlocutor.

Todos estos errores tan nuestros no sólo se los vamos a pasar por alto a las máquinas porque son supuestamente objetivas (aunque los algoritmos provengan de la mente humana de un programador al que jamás le otorgaríamos una confianza tan ciega sin conocerlo), sino que vamos a agravarlos si no interpretamos los resultados con cuidado o, más simplemente, si caminamos medio ciegos porque no podemos acceder a los criterios que se han utilizado para obtener esos resultados.

Mala ciencia y peor salud

En algunos casos será difícil corregir los errores, porque una parte de la llamada data science no es ciencia en absoluto. Los algoritmos que más van a influir en nuestras vidas no están expuestos a la crítica y estudio de la comunidad científica porque son secretos. Resulta difícil saber si el filtrado de candidatos al despido o a la contratación, una vez terminado el proceso, fue mejor o peor que las alternativas.   

Lo mismo ocurre con alguien que ha sido considerado ‘enfermo crónico potencial’ por el sistema y que, sin saberlo y sin enfermar, tendrá más dificultades para que lo contraten y estará condenado a pagar mucho más por su seguro médico. En realidad, todo lo que hemos mencionado en el aspecto laboral se aplica sin mayores dificultades al de la salud.

Cathy O’Neil se siente alarmada (con razón) por el empleo de los datos masivos para estimar la salud presente y futura de distintos grupos sociales. El motivo más obvio es que en Estados Unidos las aseguradoras intentan evitar a los enfermos crónicos, porque saben que pueden ganar menos e incluso perder dinero con ellos.

Aunque Barack Obama prohibió con su reforma sanitaria que las aseguradoras rechazasen explícitamente a los pacientes por esos motivos, los datos masivos permiten identificar a los colectivos con más riesgo de padecer determinadas enfermedades recurrentes. El algoritmo secreto los rechazaría sin que lo supieran los reguladores y la comunidad científica… y las aseguradoras sólo tendrían que sentarse a mirar los resultados.

En España y Latinoamérica no ocurre lo mismo, pero no debemos despreciar la amenaza a la ligera. El sistema sanitario público sufrirá recortes porque se financia gracias a un Estado endeudadísimo y millones de personas utilizan intensivamente los seguros, que pueden excluir legalmente a los enfermos crónicos, para todo aquello que no cubre eficazmente el Estado. Además, las administraciones han empezado a realizar movimientos inquietantes: Cataluña aprobó en abril de 2015 la venta de big data de historiales y datos clínicos de pacientes catalanes a laboratorios y consorcios privados.

Todo lo que acabamos de decir se extiende mucho más allá de la salud o las contrataciones y despidos, porque nos encaminamos a una sociedad datacéntrica que confunde la inteligencia artificial con la inteligencia divina. Por eso, debemos exigir desde ahora que los sistemas que se utilizan para tomar decisiones esenciales en nuestra sociedad sean auditados por reguladores y expertos. Las máquinas tienen que aprender a respetar los derechos humanos. No lo harán solas y, si lo hacen, quizás sea demasiado tarde.  

Es pronto y hay pocas víctimas. No queremos llegar tarde.