Según cuenta en un reportaje Reuters, Amazon creó un equipo de ingeniería en Edimburgo en 2014 para encontrar una manera de automatizar las contrataciones. La herramienta de inteligencia artificial para la tarea fracasó cuando descubrieron que el sistema discriminaba a las mujeres.
Al parecer, Amazon había creado 500 modelos informáticos para rastrear los currículos de los candidatos y recoger alrededor de 50.000 términos clave. El sistema rastrearía la web para recomendar candidatos. Según le dijo una fuente a Reuters:
Literalmente querían que fuera un motor donde les voy a dar 100 hojas de una vida, escupirán los cinco primeros y los contrataremos.
Sin embargo, un año después, los ingenieros notaron que había algo preocupante en su motor: no le “gustaban” las mujeres. Aparentemente, esto se debía a que la IA repasó los CV predominantemente masculinos enviados a Amazon durante un período de 10 años para acumular datos sobre a quién contratar. En consecuencia, la IA llegó a la conclusión de que los hombres eran preferibles.
Según el reportaje, esto rebajó los currículos que contenían las palabras “mujeres” y eliminó a las candidatas que habían asistido a dos universidades solo para mujeres. Los ingenieros de Amazon trataron de modificar el sistema para remediar el sesgo, pero no podían estar seguros de que la IA no encontraría nuevas formas de discriminar injustamente a los candidatos. Según las fuentes:
El sesgo de género no fue el único problema. Los programas también escupieron candidatos que no estaban calificados para el puesto.
¿Solución? Como explican a la agencia, el sesgo algorítmico es un tema espinoso, ya que los algoritmos pueden detectar el sesgo humano subconsciente. En 2016, ProPublica descubrió que el software de evaluación de riesgos utilizado para predecir qué criminales eran más propensos a reincidir presentaba un sesgo racial contra los negros.
El exceso de confianza en la inteligencia artificial para cosas como el reclutamiento, la calificación crediticia o los juicios de libertad condicional también han creado problemas en el pasado.
