La IA constituye una oportunidad histórica para mejorar el bienestar de las personas, la sostenibilidad del planeta y el logro de los objetivos de la Agenda 2030. Tiene un enorme potencial para mejorar la calidad y la personalización de los servicios públicos, detectar con mayor precisión los problemas sociales, tomar decisiones basadas en datos, mejorar la eficiencia y la evaluación de las políticas públicas, agilizar los procedimientos y reducir costes. Sin embargo, los sistemas de IA entrañan ciertos riesgos en el ámbito de los derechos fundamentales, la protección del medio ambiente o la lucha contra el cambio climático, entre otros impactos sociales, generando incertidumbres en torno a cuestiones relativas a la responsabilidad.

Las percepciones de la ciudadanía (CIS, 2025) reflejan esa tensión entre el potencial transformador atribuido a la IA y la precaución en torno a sus consecuencias, interpelando a los poderes públicos sobre la necesidad de garantizar ciertos derechos.

La necesidad de una IA segura, fiable y centrada en la persona

• Los principios de centralidad humana, prevención del daño, equidad y explicabilidad de los sistemas de IA son preconizados por los organismos internacionales, que determinan los límites del desarrollo, despliegue y uso de una IA confiable. Los requisitos de fiabilidad se resumen en la necesidad de acción y supervisión humanas, solidez técnica y seguridad, gestión de la privacidad y de los datos, transparencia, diversidad, no discriminación y equidad, bienestar ambiental y social y rendición de cuentas.

• Desde esta perspectiva, el nuevo RIA supone un gran avance, ya que introduce obligaciones legales específicas graduadas en función de los riesgos de cada sistema de IA para los derechos de la ciudadanía y prohíbe los que representan un riesgo inaceptable. El RIA regula sectores especialmente sensibles, como el sanitario, educativo, justicia y administración pública, empleo y recursos humanos o seguridad y vigilancia. No obstante, excluye de la obligación de evaluación ex ante a sectores relevantes desde el punto de vista social.

Fuente: Comisión Europea, 2019.

Gobernanza algorítmica, transparencia y rendición de cuentas

• La transparencia algorítmica implica que los factores que intervienen en las decisiones tomadas por los algoritmos tendrían que ser visibles, conocibles, auditables y explicables a las personas que utilizan, regulan y resultan afectadas por los sistemas que emplean estos algoritmos. La falta de transparencia puede dar lugar a que errores del sistema conduzcan a decisiones injustas y erosionen la confianza pública en las instituciones. Por ello, las Administraciones públicas deberían ser referentes en transparencia algorítmica.

• La creación de registros de algoritmos públicos permitiría a la ciudadanía conocer qué sistemas se utilizan, sus propósitos y sus posibles impactos, fomentando la confianza y facilitando la supervisión y auditoría de estos sistemas. Sin embargo, hasta el momento no existe un registro estatal ni un protocolo homogéneo para la creación de registros algorítmicos. Su desarrollo presenta un panorama fragmentado, con avances desiguales entre administraciones, aunque existen ya algunas experiencias pioneras.

• Es necesario regular con claridad la responsabilidad y rendición de cuentas para garantizar el derecho de la ciudadanía a recurrir con fundamento las decisiones automatizadas que les afecten negativamente. Una oportunidad en este terreno podría venir de la mano del Anteproyecto de Ley para el buen uso de la inteligencia artificial.

Hacia una IA no discriminatoria: una mirada específica a los sesgos de género

• Es necesaria la adopción de enfoques preventivos, proactivos y éticos en el desarrollo y aplicación de los sistemas de IA para que los algoritmos no se limiten a replicar y agrandar los sesgos existentes en la sociedad mediante el cumplimiento de los principios de no discriminación y el establecimiento de mecanismos de supervisión y control.

• Los desequilibrios de representación del género femenino en la IA o la asunción de estereotipos de género en su entrenamiento pueden aumentar la discriminación y los prejuicios. Se requiere abordar la reducción de los sesgos de género en la concepción, desarrollo y aplicación de la IA mediante un enfoque integral que combine la aplicación de la normativa, la realización de auditorías independientes, el fomento de una mayor participación de mujeres y la inclusión de la perspectiva de género en todas las fases de la ingeniería de datos.

• Otros riesgos de sesgos, como el edadismo, también requieren evaluación y prevención.

Oportunidades

La IA se considera un factor más potenciador que inhibidor del desarrollo sostenible al actuar positivamente sobre 134 indicadores de los ODS y negativamente sobre otros 59.

En el contexto del desarrollo urbano, y más concretamente en la conformación de las denominadas smart cities, la IA puede mejorar la calidad de vida al aportar mecanismos de gobernanza de los avances tecnológicos en el proceso de transformación de los datos y ofrecer soluciones en distintos ámbitos de gestión, generando oportunidades económicas, aumentando la eficiencia e impulsando la participación democrática y la sostenibilidad ambiental.

La combinación tecnológica que ofrece la IA puede utilizarse en el diseño de ciudades eficientes, sostenibles y habitables, anticipando las necesidades de la población y adaptándose a los cambios en tiempo real, en lo que se denomina urbanismo predictivo. Así, los nuevos modelos urbanos inteligentes se utilizarían para optimizar desde el flujo del tráfico hasta la distribución de los recursos gracias a la simulación del comportamiento a través de agentes inteligentes.

Retos

El impacto negativo asociado a la propia actividad de la IA generativa es especialmente crítico debido al aumento exponencial de modelos avanzados responsables de elevados consumos de energía, agua y materiales, y de emisiones GEI. Además, inducen a un desigual reparto de los impactos ambientales asociados a su implantación. Estos retos subrayan la necesidad de un enfoque sostenible y ético en la investigación, diseño y uso de estas tecnologías.

Para evitar consecuencias imprevistas de los impactos ambientales, es preciso avanzar en la reducción de la brecha socioeconómica y ambiental emergente, impulsando una IA responsable que mitigue la disparidad interregional. Una distribución justa de los beneficios de la IA conllevaría una redistribución efectiva de los costes ambientales regionales, impulsando resultados más equitativos.

Falta de robustez de las herramientas de IA

• Sesgos en los datos que entrenan al algoritmo, que pueden reproducir patrones de discriminación.

• Insuficiente representatividad de las muestras de datos para determinados grupos de personas trabajadoras o categorías de información.

Riesgos de discriminación y exclusión

• Brechas tecnológicas (de acceso o falta de capacidades) en ciertos territorios.

• Barreras de acceso para personas con discapacidad.

• Discriminación menos intuitiva y más difícil de detectar si se origina en fallos de diseño o comportamiento del sistema.

• Imposibilidad de detectar elementos intangibles o no objetivables de las personas demandantes de empleo y de las empresas.

Transparencia y explicabilidad de las decisiones

• Necesidad de informar a las personas demandantes de empleo de que sus perfiles están siendo analizados por la IA.

• Opacidad: las herramientas de IA pueden ser una «caja negra», si no es posible explicar las decisiones y resultados por desconocimiento de estándares y criterios.

• Dificultades para atribuir de resultados a ciertas variables, determinar los pesos de cada factor, etc.

Privacidad

• El uso de datos provenientes de Internet (web scraping) genera dudas sobre el consentimiento en la cesión de los mismos.

• Necesidad de garantizar la seguridad de los sistemas ante el uso de información de carácter personal y sensible.

Complementariedad de la IA con el control humano en el PES

• Las decisiones de la IA son un elemento más de decisión y recomendación.

• Necesidad de formación del personal en datos para optimizar el uso de la IA, interpretar los algoritmos, etc.

Educación

Oportunidades

• La automatización de los niveles básicos de creación posibilita que los procesos de aprendizaje y docencia se liberen de las tareas de orden inferior y se focalicen en aquellas más complejas.

• Facilita la presentación y visualización de resultados.

• Permite reducir el tiempo de dedicación de la docencia destinado a tareas más rutinarias y de gestión para dedicarlo al desarrollo de contenidos y métodos de enseñanza y a la atención más personalizada del alumnado.

• Podría favorecer la adaptación de la educación al alumnado con necesidades especiales

Retos

• Puede generar contenidos erróneos o sesgados, además de ofensivos, discriminatorios o antiéticos. Además, no siempre ofrece respuestas adecuadas para la resolución de muchos de los problemas del mundo real.

• Puede amplificar los problemas relacionados con la desigualdad, la pobreza digital o el riesgo de exclusión del alumnado o los centros poco capacitados digitalmente, así como de contenidos referidos a problemáticas locales o a población o lenguas minoritarias.

• Plantea importantes desafíos relacionados con la seguridad y confiabilidad de los resultados, la privacidad de los datos o los derechos de autor, entre otros.

• El profesorado requiere formación y competencias sobre los conceptos básicos de la IA (enseñar sobre la IA), sobre los desafíos y oportunidades de este tipo de herramientas para el aprendizaje (enseñar para la IA) y sobre su aplicación en el contexto educativo (enseñar con la IA).

• El sistema educativo y los programas de formación permanente han de dotar al alumnado de competencias que permitan aprovechar las bondades de la IA y gestionar los riesgos que entrañan a partir de valores éticos, humanísticos y de pensamiento crítico.

• Dado que el avance de la IA es imparable, es importante que sigan adoptándose medidas en paralelo al crecimiento y mejora de las herramientas.

• Sería necesario hacer evaluaciones continuadas sobre los impactos de la IA en la educación con el fin de conocer las bondades y problemas reales que está generando en el ámbito de la enseñanza y el aprendizaje.

• Es necesario establecer mecanismos de colaboración y gobernanza entre los distintos actores implicados en el ámbito educativo.

La utilización de la IA y el big data en la gestión de la Seguridad Social

Oportunidades

• El ingente volumen de datos y procesos administrativos que genera la Seguridad Social y el hecho de que se trate de una de las administraciones más cercanas a la ciudadanía la convierten en un entorno especialmente propicio para la adopción de tecnologías basadas en IA y del big data. Así, desde hace algunos años se utilizan diferentes herramientas dirigidas fundamentalmente a la automatización de procesos, la optimización de recursos y a la prestación de servicios.

• El objetivo debe ser mejorar la eficiencia del sistema —reduciendo costes y cargas administrativas—, agilizar la gestión de las prestaciones —reduciendo tiempos de espera y optimizando la planificación— y asignar los recursos en función de las necesidades reales de la población y las tendencias futuras.

Retos

• A pesar de sus múltiples beneficios, la implementación de la IA en la Seguridad Social plantea también importantes desafíos en cuanto a la protección de datos y la privacidad de la información de los ciudadanos, la equidad y la transparencia en la toma de decisiones automatizadas, la adaptación de los empleados públicos a su uso o la exclusión de aquellas personas que carecen de conocimientos y/o recursos para el acceso y uso de las tecnologías necesarias. Es imprescindible contar con un marco regulatorio sólido en este ámbito y con una supervisión humana efectiva que garanticen un uso ético, transparente y equitativo de la IA, evitando sesgos y riesgos y garantizando los derechos de los ciudadanos.

La IA, puente para unos servicios y prestaciones sociales más inclusivos

Oportunidades

• El uso masivo de datos, su interconexión interadministrativa y el despliegue de herramientas de inteligencia artificial proporcionan a los y las profesionales de los servicios sociales, así como a quienes formulan y planifican políticas de protección y acompañamiento a población vulnerable, un conocimiento empírico profundo, actualizado y preciso sobre las necesidades reales de la población. Este conocimiento ampliado no solo permite detectar con mayor agilidad las carencias o brechas existentes, sino que se convierte en un instrumento clave para diseñar intervenciones y prestaciones sociales más eficaces, equitativas, mejor focalizadas y con mayor capacidad de respuesta ante realidades sociales cambiantes.

Retos

• La incorporación de herramientas de IA en contextos marcados por la sobrecarga profesional y estructural, con el objetivo de incrementar la eficiencia, mejorar la eficacia, reducir cargas administrativas o automatizar procesos de concesión de prestaciones, conlleva el riesgo de generar efectos no deseados y contrarios a los objetivos inicialmente planteados. En ausencia de mecanismos adecuados de transparencia, trazabilidad de datos o supervisión algorítmica, estas tecnologías pueden dar lugar, como ya ha ocurrido en diferentes ámbitos, a decisiones opacas o injustas que se pueden perpetuar en el tiempo, afectando derechos fundamentales como la protección de datos personales, la privacidad, la seguridad, la igualdad y la no discriminación, así como el acceso equitativo a la asistencia social y prestaciones públicas. Todo ello puede contribuir, además, a una progresiva erosión de la confianza ciudadana en las instituciones.

1. Plano normativo

• Además de las normas que ya estaban vigentes en España relacionadas con estas materias, cabe destacar las dos iniciativas comunitarias recientemente aprobadas.

• El Reglamento Europeo de IA (RIA). El RIA persigue el objetivo transversal de alcanzar un uso de la IA centrado en las personas. En el ámbito del empleo, la gestión laboral y el autoempleo, contiene determinadas prohibiciones y la clasificación de los sistemas desplegados en esos ámbitos que estén destinados a determinadas actividades de gestión del personal como sistemas de alto riesgo, con las obligaciones y controles consiguientes.

• La Directiva europea de trabajo en plataformas. Pone en juego reglas de transparencia y la supervisión por humanos, establece evaluaciones (con participación de los representantes de los trabajadores) de las repercusiones de las decisiones automatizadas en las personas que realizan trabajo en plataformas, incluidas, cuando proceda, en sus condiciones laborales y en la igualdad de trato en el trabajo (evaluaciones antisesgos) e incluye la decisión por humanos de determinadas vicisitudes de la relación contractual, la revisión por humanos, normas sobre seguridad y salud, y obligaciones de información y consulta a los representantes de los trabajadores, entre otras previsiones.

2. Diálogo social

• Además de las medidas normativas, resulta imprescindible abordar las transiciones y los cambios mediante el papel impulsor del diálogo social, tanto en el ámbito de la Unión Europea (UE) como nacional. Existe un amplio consenso institucional en la UE sobre la importancia del diálogo social como herramienta central para el gobierno del cambio tecnológico, la digitalización y la IA, y sus impactos en el mundo del trabajo.

• Los interlocutores sociales europeos comparten este consenso fundamental. Ejemplo de ello es el Acuerdo Marco Europeo sobre digitalización (AMED) que firmaron en 2020. El AMED suponía un importante instrumento para afrontar cambios estructurales futuros como el uso de los sistemas de IA en los lugares de trabajo. Otro ámbito especialmente importante en la gobernanza de los cambios tecnológicos lo representa el diálogo social europeo sectorial.

• En España cabe destacar dos instrumentos fundamentales del diálogo social para abordar los efectos de estos cambios: la Estrategia Española de Seguridad y Salud en el Trabajo (EESST 2023-2027), en el terreno de la salud laboral y la prevención de riesgos laborales, y el Acuerdo sobre el Empleo y la Negociación Colectiva (V AENC). El V AENC (2023-2025) contiene criterios y recomendaciones en diversos ámbitos, entre los cuales cabe destacar, a estos efectos, los que recoge en relación con la transición tecnológica y digital, y con la IA.

3. Negociación colectiva

• La regulación en la negociación colectiva de cuestiones como la IA y la gestión algorítmica parece ser todavía escasa, pero esto podría cambiar en el corto plazo por su penetración en la organización del trabajo, el consenso de los interlocutores sociales acerca de su necesidad recogido en el V AENC y el efecto de las recientes regulaciones europeas, que abren y señalan espacios a la negociación colectiva. Esta ofrece ya algunos ejemplos significativos y buenos ejemplos de prácticas negociales en España y otros Estados miembros de la UE, particularmente en el ámbito sectorial, que pueden ejercer un efecto pedagógico o de arrastre sobre otros ámbitos negociales.

Para aprovechar las ventajas de la utilización de la IA y maximizar su impacto social positivo, especialmente en la gestión de procedimientos, prestaciones y servicios públicos con impacto en los derechos de las personas, queda camino por recorrer. Es necesario impulsar el desarrollo de los instrumentos más idóneos para ello, como la creación de registros públicos de algoritmos; la realización regular de auditorías independientes para prevenir, identificar y corregir posibles sesgos y errores; el fomento de la transparencia y participación ciudadana en la evaluación y mejora de estos sistemas y el avance en el desarrollo de un marco regulatorio claro que guíe el uso ético y responsable de algoritmos, garantizando la equidad y los derechos de la ciudadanía.​ Especialmente necesario resulta promover la formación y la educación, de manera que el mayor número posible de personas sea conocedor de la IA fiable y reciba formación en la materia, de modo que el desarrollo de esta tecnología contribuya a reducir y no a profundizar las brechas sociales existentes.