La transformación digital en la sociedad del conocimiento del siglo XXI ha
continuado acelerándose de la mano de nuevos desarrollos para la inteligencia artificial
(IA). Su potencial para abordar problemas complejos como gestionar de forma eficaz la
contratación de recursos humanos, mejorar la seguridad pública mediante el análisis
predictivo en la investigación, así como incrementar la certeza en los diagnósticos de
enfermedades o en los tratamientos médicos, son solo algunas de sus aplicaciones más
usuales.
Estas aplicaciones de sistemas inteligentes no serían posibles sin los
avances en la capacidad de almacenamiento de datos, big data, que ha incrementado la
información disponible que pueden procesar los sistemas inteligentes, en nuevas funciones
como es el caso del machine learning o aprendizaje automático, que permite hacer
predicciones y realizar procesos de decisión de forma automática, o el deep learning
o aprendizaje profundo, que, mediante el diseño de redes neuronales, emula el
funcionamiento del cerebro humano.
Con la irrupción de los sistemas de IA a la par que surgen ventajas como
la automatización de los procesos en el ámbito público, la eficiencia y la rapidez en la
adopción de decisiones, también surgen retos éticos, normativos, económicos, sociales y
culturales.
Este es el caso del uso de algoritmos en los sistemas inteligentes, cuyo
diseño y configuración comportan dos riesgos principales para los usuarios: el problema de
la falta de transparencia inherente a su uso, lo que implica la opacidad del sistema o
black box, así como su falta de explicación o esclarecimiento para determinar la
responsabilidad de los programadores, proveedores y prestadores de servicios.
Este trabajo tiene por objeto examinar la implementación de la IA en la
gestión pública entendida como la aplicación de herramientas y estrategias administrativas
para organizar, administrar y dirigir los recursos gubernamentales, desde la perspectiva de
evaluar su funcionamiento conforme al derecho. Para este fin, explora las ventajas y retos
que plantea la implementación de los sistemas de IA en el ámbito gubernamental mediante el
uso de una metodología deductiva y analítica. Nuestra premisa es que ante el reto de la
transparencia y del esclarecimiento en el funcionamiento de los sistemas de IA, es necesario
establecer un proceso de evaluación continua que permita realizar las adecuaciones y
correcciones necesarias para la protección de los derechos de las personas, en particular,
de su derecho a la privacidad, a la identidad, al libre ejercicio de su personalidad y a la
seguridad jurídica, por lo que busca establecer, desde una perspectiva crítica, propuestas
para su gobernanza en el ámbito de la Administración pública.
EL CONTEXTO INTERNACIONAL PARA LA REGULACIÓN DE LA IA EN EL ÁMBITO
PÚBLICO
La necesidad de legitimar el desarrollo e implementación de la IA en la
gestión pública, genera la necesidad de regulaciones legales, que prevengan potenciales
riesgos de daños y vulneraciones de derechos. La obtención masiva de datos y su tratamiento
algorítmico implican que, la aplicación de la IA en el ámbito gubernamental, cumpla con
estándares éticos que orienten su aplicación al servicio de las personas y de sus derechos.
La regulación de la IA plantea dos enfoques: uno orientado al
establecimiento de principios, directrices y recomendaciones éticas, que tienen por objeto
un desarrollo responsable y seguro de los sistemas y herramientas de IA, bajo un enfoque
general y multidisciplinario denominado de soft law, así como un enfoque de hard
law, que tiene por objeto atender la problemática de su evolución tecnológica y su
impacto en la capacidad regulatoria en el ámbito estatal, lo que se conoce como la brecha
regulatoria.
1
El declive de la eficacia regulatoria y, en contrapartida, el desarrollo y
la transformación tecnológica permanentes, hacen que las reglas diseñadas para regular un
desarrollo o avance tecnológico, como es el caso de la IA, se vuelvan obsoletas. Por tanto,
el diseño de reglas debe realizarse mediante el uso de un lenguaje que sea neutral frente a
los avances tecnológicos.
Otra forma de brecha regulatoria consiste en la innovación y el desarrollo
constante de nuevas tecnologías frente al rezago del cambio legislativo ante la tardanza
para reformar, modificar o crear nuevas normas. Las características de los sistemas de IA,
su autonomía, adaptabilidad y autoaprendizaje implican su complejidad. La incertidumbre que
puede generar su uso incrementa la problemática de su regulación.
2
Existen diversos instrumentos internacionales de soft law para
regular de forma ética la IA. La Declaración de Principios de Ginebra de la Cumbre Mundial
sobre la Sociedad de la Información,
3
establece que el uso de las TIC y la creación de contenido deben respetar los derechos
humanos y las libertades, incluida la libertad de pensamiento y la privacidad personal.
El enfoque de Naciones Unidas sobre el impacto del cambio tecnológico en
la obtención de los objetivos de desarrollo sostenible, impulsado a iniciativa de México,
tuvo como resultado la aprobación, el 26 de noviembre de 2018, de la resolución denominada
"Impacto del cambio tecnológico en la consecución de los Objetivos de Desarrollo Sostenible
y sus metas".
4
La Declaración de Montreal para un desarrollo responsable de la IA
realizada en 2018, instauró 3 objetivos principales: 1. crear un marco ético para el
desarrollo e implementación de la IA, 2. guiar la transición digital para que todos puedan
beneficiarse, 3. generar un foro de discusión nacional e internacional para lograr un
desarrollo equitativo, inclusivo y ecológicamente sostenible de la IA.
5
La Organización de Cooperación y Desarrollo Económico (OCDE) emitió, en
2019, la Recomendación sobre Inteligencia Artificial (IA), que tiene por objeto fomentar la
innovación y la confianza en la IA mediante la promoción de una gestión responsable, así
como garantizar los derechos humanos y los valores democráticos.
6
La Unesco también aprobó, en 2021, la Recomendación sobre la ética de la IA, que aporta
valores y principios rectores para el diseño e implementación de la IA.
Desde otra perspectiva, constituye un reto abordar la regulación de la IA
mediante instrumentos jurídicos de carácter vinculante o de hard law. Uno de estos
problemas es la opacidad en el funcionamiento algorítmico de los sistemas, cuya
característica es el autoaprendizaje basado en los datos e información con los que el
sistema es retroalimentado.
Otro problema es la imprevisibilidad de los resultados, ya que no es
posible prever el resultado de las inferencias y deducciones realizadas por el sistema de
IA. La calidad de los datos y de la información constituyen un elemento esencial para el
funcionamiento de los sistemas de IA. Si la configuración algorítmica es desarrollada con
datos e información de mala calidad, generará sesgos en su funcionamiento y resultados.
Uno de los primeros instrumentos vinculantes sobre IA es el Reglamento
2024/1689 de la Unión Europea, por el que se establecen normas armonizadas en materia de IA,
que tiene por objeto establecer un marco jurídico europeo uniforme de inteligencia
artificial.
7
LAS POSIBLES VENTAJAS DEL USO DE LA IA EN LA GESTIÓN ADMINISTRATIVA Y LA
GESTIÓN PÚBLICA
La IA en la gestión administrativa tiene como objetivos principales
incrementar la eficiencia en la Administración pública al hacer un uso apropiado de los
recursos gubernamentales y expandir la capacidad de las administraciones para resolver
diversos problemas.
8
La IA puede servir para mejorar la gestión pública al facilitar y aumentar la
generación de información y datos disponibles para la ciudadanía, lo que contribuye a
mejorar la rendición de cuentas y la transparencia.
Además, la implementación de la IA también aumenta la capacidad
gubernamental en la previsión de servicios públicos, lo que optimiza la atención a los
ciudadanos al personalizar su prestación mediante el uso de agentes virtuales y liberar
recursos para la atención de casos que requieren intervención humana.
9
La automatización de procesos administrativos como la gestión de información y el
procesamiento de solicitudes mediante sistemas de gestión documental, simplifica la
operatividad del sector público.
10
En el ámbito de la seguridad pública, el uso de sistemas de IA incrementa
el control policial mediante herramientas que utilizan elementos biométricos,
11
en el caso de la salud, los sistemas de diagnóstico que utilizan IA mejoran su
precisión,
12
el uso de sistemas de transporte autónomo, amplia la movilidad de las personas y el
control de los flujos migratorios.
La IA en el sector público busca modificar los procesos de organización y
colaboración en la gestión administrativa con una lógica de costo-beneficio
13
al prever las necesidades y demandas de servicios públicos como el suministro de agua
potable, electricidad o recolección de residuos. El análisis de datos de las áreas
gubernamentales impulsa la participación ciudadana en las herramientas digitales.
14
Los sistemas de IA, al aumentar la accesibilidad de los servicios, reducir
los tiempos de respuesta y agilizar los procesos, generan calidad y la creación de una
cultura que impulsa el uso de las herramientas inteligentes y promueve la innovación en el
ámbito gubernamental.
Para lograr estos objetivos se consideran dos flujos de interacción: la
colaboración interinstitucional, que incentiva a los empleados y usuarios a pensar de forma
creativa en la eficiencia y calidad en la prestación de los servicios públicos, y la
participación ciudadana mediante plataformas digitales, que recaban experiencias y
sugerencias sobre proyectos públicos para cumplir estas características.
15
Las herramientas digitales están sujetas a la elección de opciones técnicas o humanas,
por lo que influyen en las administraciones para el diseño y establecimiento de políticas
públicas.
16
De acuerdo con el enfoque de gestión científica de Frederick W. Taylor
aplicable al sector público, los elementos que la componen son la eficiencia, la
transparencia, la rendición de cuentas, la participación ciudadana y la capacidad de
adaptación.
17
La evaluación de la gestión pública y la rendición de cuentas se facilitan mediante la
implementación de sistemas de IA, que realizan el análisis de grandes volúmenes de big
data, detectan áreas de oportunidad para la eficacia gubernamental, así como
impulsan la confianza ciudadana para una rendición de cuentas proactiva y eficaz.
18
Al generar un ecosistema de transformación digital disruptiva, los
sistemas de IA contribuyen a la promoción de la gobernanza al fortalecer valores como la
eficiencia, el control y la neutralidad política.
19
Además, la disrupción de los sistemas de IA generativa, mediante el análisis y
transversalización de big data, les permite aprender de los datos y generar nuevos
conocimientos en formatos de textos, imágenes y videos.
PROBLEMAS QUE PLANTEA LA APLICACIÓN DE SISTEMAS DE IA EN EL ÁMBITO
GUBERNAMENTAL
Una de las principales preocupaciones que genera la implementación de la
IA es si se cuenta con las capacidades institucionales para regular el impacto de su
irrupción tecnológica y la protección de los derechos de las personas en el ámbito de la
gestión gubernamental. Los instrumentos de regulación tradicionales, diseñados con una
lógica histórica y teniendo en cuenta la experiencia humana, resultan ineficaces frente a la
realidad tecnológica. La necesidad de proteger derechos como la identidad, la privacidad y
el libre desarrollo de la personalidad plantea el dilema de crear un modelo de regulación
eficaz en la gestión pública, cuyo objetivo es brindar la información y los datos necesarios
a los ciudadanos respecto a la provisión de los bienes y servicios públicos.
Un problema principal es la falta de transparencia y de conocimiento sobre
cómo funcionan los algoritmos. Los sistemas de IA dependen de la calidad de los datos e
información que se decide utilizar para su programación o en-trenamiento.
20
La elección inicial para la comprensión del sistema es crucial porque la transparencia
es un principio esencial de la actuación pública, y el entendimiento integral del modelo, un
presupuesto necesario para la rendición de cuentas.
Sin embargo, los modelos de black box o caja negra más complejos y
difíciles de entender o interpretar suelen ser más utilizados pues implican el uso de
algoritmos más potentes por tener mejores capacidades de análisis y procesamiento de
información.
21
La falta de transparencia hace que los ciudadanos no tengan conocimientos
de cómo funcionan los sistemas de IA, ni las prestaciones, bienes o servicios públicos, que
a las administraciones públicas les corresponde proveer, en particular cuando los sistemas
llevan a cabo asignaciones públicas.
22
Otro reto es la potencial discriminación en que pueden incurrir los
sistemas de IA. Los datos de entrenamiento y el uso de algoritmos, si bien tienen el
potencial de facilitar la realización de tareas complejas, también pueden generar sesgos no
deseados. Los sesgos pueden darse por diversas causas, una relevante es la falta de una
representatividad adecuada y satisfactoria de la información y los datos utilizados.
Un ejemplo de estos sesgos es que el sistema establezca presupuestos
relacionados con la pertenencia del usuario a determinados grupos sociales, lo que puede dar
lugar a un perfilamiento erróneo respecto a sus necesidades o intereses. O bien, que la
información y los datos personales de los ciudadanos se utilicen para llevar a cabo actos de
manipulación con fines determinados.
23
Los sesgos pueden provenir tanto de los datos de entrenamiento como de los
algoritmos utilizados. El algoritmo se define como un conjunto ordenado y finito de
operaciones que permite hallar la solución a un problema, o bien, un conjunto de
instrucciones diseñadas mediante un lenguaje de programación que utiliza datos específicos y
que pretende alcanzar un objetivo determinado.
24
Los algoritmos, al utilizar bases de datos con información incompleta,
sesgada o discriminatoria, pueden retroalimentar estereotipos negativos de grupos
particularmente vulnerables, como mujeres, afrodescendientes, menores de edad o personas con
alguna discapacidad.
En la actualidad los algoritmos tienen usos y funciones muy diversos; las
redes sociales, por ejemplo, los usan para diseñar información personalizada acorde a las
preferencias de los usuarios; las deficiencias de los sistemas en el ámbito gubernamental
generan la vulneración de derechos al no prestarse un servicio, denegarse o desestimarse su
aplicación adecuada.
25
Al aprender mediante la replicación del razonamiento humano sin serlo, los
sistemas de IA, si bien pueden cumplir criterios de eficiencia en su actuación, también
pueden reemplazar los criterios de validez generando conflictos para reconocer la
legitimidad de sus acciones.
Esta situación se relaciona con la capacidad para reconducir el proceso
administrativo de decisión hacia su comprensión y explicación. Es importante distinguir
entre un sistema de IA que solo auxilia como asistente, de un sistema que realiza decisiones
para la prestación de un servicio o su denegación.
26
En el primer caso, el sistema de IA puede auxiliar en la prestación de un
servicio básico, como la provisión de agua potable o el suministro de electricidad, mientras
que en el segundo supuesto el sistema adopta una decisión autónoma para el otorgamiento de
un beneficio público, como es el caso de las prestaciones de educación o salud.
Los últimos avances de la IA no se concretan únicamente a realizar la
automatización de trámites y procedimientos. En la actualidad, los avances en sistemas de
inteligencia artificial van más allá del análisis predictivo, la IA generativa busca
transformar la aplicación del ordenamiento legal.
La compleja interconexión de dispositivos para la recolección de datos
tiene por objeto predecir conductas de los usuarios, anticipar demandas futuras de servicios
públicos, así como utilizar esta capacidad para modificar las expectativas e influir en
quienes demandan prestaciones, bienes y servicios públicos.
27
El reto es controlar los sistemas y los algoritmos empleados para el
diseño de resoluciones administrativas. El gobierno carece de los recursos tecnológicos y la
formación necesaria para realizar la supervisión y control de los sistemas de IA. Estos
sistemas son contratados con empresas privadas, lo que implica la aceptación de las
características y condiciones bajo las cuales fueron diseñados, así como que los algoritmos
utilizados estén protegidos por el derecho de propiedad intelectual.
La implementación de sistemas de IA generativa puede modificar el
conocimiento, representar y realizar soluciones construyendo realidades y, de esta forma,
afectar la cultura preexistente.
28
Al ejercer estas tecnologías una autoridad o poder técnico, pueden ejercer acciones
discrecionales que afectan la vida de los ciudadanos.
Un aspecto poco observado es que al emular el pensamiento humano basándose
en información y datos del pasado, los sistemas de IA, aunque busquen la eficiencia, también
implicarán ambigüedades inherentes a los datos o a la interpretación discrecional que
caracteriza la forma de pensar humana. Los sistemas de IA en la Administración pública deben
atender las demandas de los ciudadanos, gestionar los problemas públicos y tener la
habilidad para adoptar decisiones sobre asignación de recursos, derechos y el cumplimiento
de obligaciones.
Al presuponer un trabajo racional en la lógica de costo-beneficio, los
sistemas tienen el potencial de construir decisiones más racionales que ayuden a las
autoridades a mejorar la eficiencia de la gestión gubernamental. Sin embargo, surge el
dilema de que el proceso de adopción de decisiones no sigue necesariamente un proceso
racional y consecuente.
Desde la óptica humana, son las reglas y entendimientos que surgen de las
relaciones entre los diversos grupos y actores sociales los que definen las acciones
institucionales en función de intereses y valores comunes o de la composición de intereses
en juego, en un contexto de racionalidad limitada. Las decisiones en el ámbito público se
adoptan con base en el aprendizaje y las experiencias previas, con la participación de los
actores y sujetos involucrados que retroalimentan un proceso de decisiones y buscan un
acomodamiento de intereses, que no sigue una trayectoria consecutiva o racional.
Los sistemas de IA no siguen esta lógica; en su funcionamiento resulta
crucial la definición del problema para determinar los valores y datos que deben procesarse,
aprender y obtener resultados, o formular decisiones de forma objetiva.
Si bien la decisión que adopten puede ser considerada racional y más
eficiente, tendrán el reto de seleccionar e implementar una decisión entre una diversidad de
alternativas posibles, lo que puede generar incertidumbre o ambigüedad. Los sistemas de IA
no consideran las necesidades, demandas e intereses que implica la solución de un problema
desde una lógica de adecuación.
Esta lógica implica la expectativa social de satisfacer necesidades y
cumplir demandas o intereses basados en roles o comportamientos sociales, que no son
observados por una lógica de reglas predeterminadas o de valores éticos. Lo que los sistemas
de IA realizan al adoptar decisiones es condicionar o determinar, a través de la evaluación
de los datos que realizan, cuál es la decisión o solución a adoptar. Esta acción ha sido
considerada como un acto administrativo pues delimita los alcances, el ámbito de aplicación
o la capacidad de determinación, así como genera un producto con efectos jurídicos.
