Fuente: elaboración propia y referencias del recuadro II-4.
Recuadro II-5
RIESGOS Y DESAFÍOS PLANTEADOS POR EL USO DE LA IA EN LOS SERVICIOS DE EMPLEO
Falta de robustez de las herramientas de IA
• Sesgos en los datos que entrenan al algoritmo, que pueden reproducir patrones de discriminación.
• Insuficiente representatividad de las muestras de datos para determinados grupos de personas trabajadoras o categorías de información.
• Datos incompletos o escaso volumen de información impiden el aprendizaje del motor.
• Como resultado de lo anterior, la IA puede dar lugar a resultados injustos, tanto para las personas trabajadoras como para las empresas, que pierden opciones de reclutar talento y oportunidades para la diversidad.
• Insuficiente claridad de los protocolos para el uso de datos.
• Fallos de seguridad en los datos.
Riesgos de discriminación y exclusión
• Brechas tecnológicas (de acceso, falta de capacidades) en ciertos territorios.
• Barreras de acceso para personas con discapacidad.
• Discriminación menos intuitiva y más difícil de detectar si se origina en fallos de diseño o comportamiento del sistema.
• Imposibilidad de detectar elementos intangibles o no objetivables de las personas demandantes de empleo y de las empresas.
Transparencia y explicabilidad de las decisiones
• Necesidad de informar a las personas demandantes de empleo de que sus perfiles están siendo analizados por la IA, especificando la información y elementos de perfil estudiados.
• Opacidad: las herramientas de IA pueden ser una «caja negra», en la medida que no resulta posible explicar las decisiones y resultados por desconocimiento de estándares y criterios.
• Dificultades para la atribución de resultados a ciertas variables, determinar los pesos de cada factor, etc.
• Por ejemplo, la aplicación Jobnet iniciada por el servicio público de empleo de Flandes en Bélgica se enfrentó a la dificultad de que la sofisticación creciente del sistema hizo imposible determinar la manera en que se realizaba el matching entre personas demandantes de empleo y vacantes. Ello supuso un problema de confianza y transparencia en el sistema, a la vez que impedía establecer recomendaciones generales a partir de los resultados, puesto que la contribución específica de las distintas variables era desconocida.
Privacidad
• El uso de datos provenientes de Internet (web scraping) genera dudas sobre el consentimiento en la cesión de los mismos.
• Necesidad de garantizar la seguridad de los sistemas ante el uso de información de carácter personal y sensible sobre personas y entidades usuarias.
Complementariedad de la IA con el control humano de el PES
• Necesidad de considerar las decisiones de la IA como un elemento más de decisión y recomendación, no siendo el único.
• Necesidad de formación del personal en datos para optimizar el uso de la IA, interpretar los algoritmos, etc.
• Mantenimiento de ambos canales de interacción con los servicios de empleo, especialmente importante para perfiles con dificultades de acceso.
