Ejemplos de caso

Rotterdam-Países Bajos (2017-2021).Sistema de aprendizaje automático desarrollado para identificar posibles casos de fraude en prestaciones sociales. El modelo clasificaba a los beneficiarios mediante una puntuación de riesgo (0-1), priorizando investigaciones sobre el 10 por 100 con mayor puntuación, que podían derivar en cancelación de ayudas, su reducción o reembolsos forzosos. La auditoría interna demostró el uso de variables proxy con sesgos estructurales como el barrio de residencia, historial de salud mental y evaluaciones subjetivas de trabajadores sociales, generando discriminación indirecta según el Instituto Neerlandés de Derechos Humanos. Además, se demostró una precisión marginal siendo solo un 50 por 100 más efectivo que el azar. Los tribunales neerlandeses consideraron discriminatoria la selección basada en habilidades lingüísticas, al afectar desproporcionadamente a minorías étnicas. La falta de transparencia en los criterios de puntuación violaba principios de equidad procesal.

Reino Unido (2020).En el marco de la alteración del desarrollo del curso 2019-2020 durante la crisis sanitaria Covid-19, miles de estudiantes británicos protestaron por la utilización de un sistema algorítmico predictivo sobre las notas que habían puesto los profesores, que había reducido sus resultados académicos tras la cancelación de los exámenes finales por el confinamiento nacional. El movimiento de protesta («Fuck the algorithm») condujo a anular los resultados.

Caso BOSCO- España (2018- ).La Fundación Civio reclamó información logarítmica del bono social eléctrico ante numerosas denegaciones en supuestos donde claramente concurrían los requisitos para la concesión. El acceso al código fuente fue denegado por el Consejo de Transparencia (Resolución 701/2018, de 18 de febrero de 2019) y por Sentencia 143/2021 del Juzgado Central de lo Contencioso-Administrativo, de 30 de diciembre. La nueva sentencia de 30 de abril de 2024, de la Sala de lo Contencioso-Administrativo, Sección Séptima, de la Audiencia Nacional, en el recurso de apelación 51/2022 desestima una vez más el acceso apelando a la propiedad intelectual y razones de seguridad nacional. En noviembre de 2024 el TS admitió recurso de casación de Civio.

VeriPol-España (2018-octubre 2024).Herramienta de IA usada para la detección de denuncias falsas relacionadas con robos violentos. Analizaba el lenguaje de las denuncias interpuestas mediante técnicas de procesamiento del lenguaje natural y aprendizaje automático. A pesar de su eficacia (91 por 100) ha sido cuestionado recientemente por sus posibles sesgos, la escasa representatividad de la muestra en que se basó el análisis para su diseño, por no reflejar la diversidad lingüística, regional y social de España y por no procesar directamente el lenguaje de los denunciantes, sino interpretar lo que la policía registra.

VioGén- España (2007- ).Algoritmo de evaluación de riesgo para casos de violencia de género, que predice la probabilidad de reincidencia mediante un modelo híbrido que combina 37 variables (gravedad de actos violentos, historial del agresor, vulnerabilidad de la víctima, etc.), clasificando el riesgo en cinco niveles (desde «no apreciado» hasta «extremo»). La auditoría adversarial realizada por la Fundación Eticas, en colaboración con la Fundación Ana Bella detectó fallos en cuanto a la trasparencia del algoritmo, sesgo en los datos de entrenamiento (opera principalmente con datos policiales, sin integrar variables socioeconómicas o contextuales); rigidez en su aplicación (en el 95 por 100 de los casos no se modifica la puntuación automática), errores de clasificación (el 45 por 100 de los casos reciben etiqueta «no apreciado»), entre otros. Entre 2003 y 2021 se produjeron 71 feminicidios tras denuncias previas con evaluación de riesgo inferior al real.