CATHY O’NEIL – Armas de Destrucción Matemática (Cómo el Big Data Aumenta la Desigualdad y Amenaza la Democracia)
«Armas de Destrucción Matemática: Cómo el Big Data Aumenta la Desigualdad y Amenaza la Democracia» de Cathy O’Neil ofrece una crítica penetrante sobre el uso indebido de los algoritmos y el Big Data en nuestra sociedad contemporánea. En su obra, O’Neil examina cómo estos modelos matemáticos, que deberían ser herramientas objetivas y equitativas, a menudo perpetúan y exacerban las desigualdades sociales, afectando desproporcionadamente a los grupos más vulnerables.
El libro comienza con una explicación clara de lo que O’Neil llama «Armas de Destrucción Matemática» (WMD, por sus siglas en inglés). Estos son modelos matemáticos que tienen un gran impacto, son opacos y carecen de retroalimentación, lo que significa que pueden causar daño sin ser corregidos. O’Neil utiliza numerosos ejemplos para ilustrar este concepto, como los sistemas de puntuación de crédito, las evaluaciones de desempeño de los maestros y los algoritmos de contratación. A través de estos casos, muestra cómo los WMD pueden ser inherentemente defectuosos y discriminatorios.
Uno de los ejemplos más impactantes que presenta es el uso de algoritmos en la justicia penal. Los modelos predictivos utilizados para determinar la probabilidad de reincidencia, como el sistema COMPAS, pueden estar sesgados contra las minorías. Estos sistemas a menudo se basan en datos históricos que reflejan prejuicios raciales y, al hacerlo, perpetúan esas mismas desigualdades. O’Neil argumenta que, en lugar de reducir la subjetividad en la toma de decisiones, estos algoritmos pueden amplificarla, con consecuencias devastadoras para las comunidades afectadas.
Otro tema crucial que aborda es el impacto de los algoritmos en el mercado laboral. Los sistemas automatizados de contratación, que muchas empresas utilizan para filtrar candidatos, pueden descartar automáticamente a ciertos grupos de personas, perpetuando desigualdades de género y raza. O’Neil destaca cómo estos algoritmos pueden descartar a candidatos calificados basándose en criterios aparentemente objetivos pero inherentemente sesgados, como la universidad a la que asistieron o la distancia de su residencia al lugar de trabajo.
El libro también explora cómo los algoritmos afectan la educación. O’Neil describe cómo los modelos utilizados para evaluar a los maestros pueden ser profundamente injustos, castigando a educadores competentes debido a variables fuera de su control. Este enfoque puede desmotivar a los maestros y distorsionar las prioridades educativas, centrándose en la mejora de las puntuaciones de los exámenes estandarizados en lugar de la calidad de la enseñanza.
En su conclusión, O’Neil aboga por una mayor transparencia y rendición de cuentas en el desarrollo y la implementación de algoritmos. Propone que se establezcan normas éticas y regulaciones para asegurar que los modelos matemáticos sean justos y beneficien a la sociedad en su conjunto. La autora subraya la necesidad de involucrar a diversos grupos de interés en el diseño de estos sistemas para evitar sesgos y promover la equidad.
«Armas de Destrucción Matemática» es un llamado urgente a la acción para reconocer y mitigar los peligros que los algoritmos y el Big Data pueden representar si no se gestionan adecuadamente. A través de un análisis detallado y ejemplos concretos, Cathy O’Neil nos alerta sobre la creciente influencia de los modelos matemáticos en nuestras vidas y nos desafía a buscar soluciones que fomenten la justicia y la equidad.