………………………………………………………………………………………………………………………
……….
………..
.
.
……..
CONCLUSIONES DEL
I SEMINARIO INTERNACIONAL
DERECHO ADMINISTRATIVO E INTELIGENCIA ARTIFICIAL*
Universidad de Castilla-La Mancha.
Facultad de Ciencias Jurídicas y Sociales
Toledo, 1 de abril de 2019
I.- REFLEXIONES GENERALES
1. Bajo la noción inteligencia artificial (IA) hacemos referencia a los sistemas que manifiestan un comportamiento inteligente, pues son capaces de analizar su entorno y pasar a la acción, con cierto grado de autonomía, con el fin de alcanzar objetivos específicos. Estos sistemas pueden consistir en un simple programa informático (por ejemplo, motores de búsqueda o sistemas de reconocimiento facial o de voz), pero también pueden estar incorporados en dispositivos de hardware (como robots o automóviles autónomos)[1].
La referencia genérica a la IA incluye el uso de sistemas de algoritmos, sistemas de autoaprendizaje automático (“machine learning”) y profundo (“deep learning”), redes neuronales, robótica inteligente y el big data como alimento de la IA. Ha sido identificada como una de las cinco tecnologías emergentes que pueden transformar nuestra sociedad en las próximas décadas y constituye el fundamento de la cuarta revolución industrial.
2. El sector público en España ya está utilizando la IA en el desarrollo de su actividad y en la prestación de los servicios públicos. No obstante, hay serios problemas para identificar y controlar las que están en marcha o van a ser implantadas en un futuro inmediato. La información disponible o accesible por lo general no es más que divulgativa –de tipo periodístico o institucional– y muy superficial. Resulta importante la publicidad activa de estas iniciativas y proyectos para su categorización, análisis y evaluación. Aunque ya se detectan acciones públicas de IA robustas con posibles repercusiones jurídicas, hasta la fecha la situación conocida es, en general, básicamente experimental, con técnicas esencialmente basadas en patrones de comportamiento y sistemas de clasificación automatizados, así como de reconocimiento de imagen y espacial. En cualquier caso, se evidencia una llamativa falta de transparencia algorítmica y la ausencia de una adecuada percepción por las Administraciones Públicas sobre de la necesidad de aprobación de un marco jurídico específico. Únicamente se observa una cierta preocupación respecto del cumplimiento en materia de protección de datos, que se percibe como un límite.
Aún de manera muy incipiente, según se ha detectado tras un primer análisis acerca de experiencias en el sector público en España, se emplea la IA para analizar datos (riesgo de incendios, locales que deben ser objeto de inspección), procesar el lenguaje natural (revisión de solicitudes formuladas por la ciudadanía o detección de irregularidades y fraudes en las licitaciones públicas), reconocer imágenes (contar personas en espacios públicos o identificar posibles infractores), tomar o facilitar la toma de decisiones (adjudicación de ayudas públicas, determinación de las calles donde enviar policías a patrullar, identificación de escuelas que pueden tener un mayor índice de abandono escolar o tratamiento para una determinada enfermedad) o para personalizar los servicios públicos (prestación de servicios de información, asesoramiento y atención ciudadana).
3. Sin embargo, más allá de los beneficios que pueda generar el uso de la IA en el sector público para la buena administración, no se deben desconocer los riesgos, las tensiones o las vulneraciones que puede entrañar para la seguridad jurídica, para algunos derechos fundamentales como la igualdad, la intimidad o la protección de los datos personales o, en fin, para los principios de actuación de las Administraciones Públicas o del procedimiento administrativo. Así sucede, por ejemplo, como con la integridad del deber de motivación como consecuencia del aprendizaje automatizado de los algoritmos, la reducción de la eficacia del derecho a formular alegaciones si se desconoce el funcionamiento del algoritmo la protección de datos personales cuando las Administraciones Públicas utilizan datos masivos o elaboran perfiles o, en su caso, cuando se produce la discriminación de colectivos minoritarios.
4. La Administración del futuro no sólo será electrónica sino también inteligente y va a requerir un perfil de servidores públicos bien diferente al actual. Hay que reflexionar y velar por la formación de los servidores públicos actuales y futuros, así como acerca de la idoneidad de los sistemas de selección.
5. Todo ello exige investigar el impacto que la IA puede tener en el Derecho Público y en los derechos fundamentales e impulsar nuevos mecanismos para garantizar estos principios y derechos por defecto y en el diseño. El Derecho Público ha de quedar, por así decirlo, incrustado en el código fuente. Ello, además, es un elemento clave del desarrollo de la IA en la Unión Europea[2].
6. El Derecho es responsable de concretizar la llamada Gobernanza y Ética de la IA y sus principios esenciales: tutela de la dignidad y los derechos humanos; los cinco principios básicos de beneficencia y de no maleficencia, justicia, libertad, autonomía humana frente a la “autonomía” artificial y justificación y transparencia. El cumplimiento normativo, el respeto de la dignidad y a los derechos fundamentales, la privacidad en el diseño, el respeto a las exigencias del Derecho de la competencia y otros bienes y valores ético-jurídicos deberían insertarse en el código mismo del diseño y desarrollo de la IA, también en el sector público.
Por todo ello, resulta imprescindible, desde esta fase incipiente, reivindicar la participación de expertos jurídicos en el diseño, implantación y uso de sistemas de IA.
7. Somos conscientes de las grandes dificultades para generar un marco regulatorio único, dado que el Derecho es de lenta adaptación a la realidad tecnológica y, además, se requieren nuevas técnicas y procedimientos regulatorios. La elaboración de un nuevo marco común europeo y la adaptación de normas y reglas del ordenamiento español son inexcusables. En los diferentes niveles se requiere una actuación tanto regulatoria como de buenas prácticas, así como la implementación de regulación y estándares ya aplicables.
El Derecho tiene que posibilitar e incentivar la innovación, crear condiciones, estructuras e institutos que permitan el despliegue tecnológico evitando riesgos no tolerables. Asimismo el Derecho debe buscar también que los beneficios y los costes se redistribuyan equitativamente.
Hay que ser conscientes de que el Derecho en estos ámbitos tiende a actuar de modo reactivo y no de modo proactivo o de estímulo al desarrollo de la IA. Asimismo, el Derecho imperativo puede motivar el incumplimiento y no despertar la iniciativa en la sociedad. El Derecho privado está en mejores condiciones para abordar algunos de estos retos, por tener en cuenta el interés propio y liberar la creatividad, si bien ello puede afectar negativamente a los intereses generales de la sociedad en su conjunto. La cuestión es saber hasta dónde llega lo tolerable socialmente y promover un Derecho público que acompañe y posibilite la innovación también en este ámbito.
8. Consideramos asimismo que hay que valorar positivamente y estar abiertos a la introducción de técnicas de un Derecho biodegradable, experimental en beta continuo, desarrollando soluciones jurídicas ya disponibles, como son especialmente las llamadas “sandboxes” regulatorias o las denominadas “sunset clauses”. Pese a las críticas que puedan formularse a las mismas, se considera que hay que avanzar hacia esta innovación de la regulación. También es preciso avanzar en la inclusión de informáticos y de especialistas jurídicos en las diversas formas regulatorias del sector tecnológico. De igual modo, hay que alertar y adoptar garantías frente a los peligros por falta de legitimación, captura y manipulación algorítmica del regulador. Asimismo, consideramos que deben analizarse y valorarse mecanismos y técnicas relativas a los principios de precaución y de responsabilidad.
9. En cualquier caso, los fundamentales principios de transparencia y buen gobierno y las obligaciones jurídicas derivadas del derecho de los ciudadanos a la buena administración deben ser redimensionados para abordar el reto de las exigencias de transparencia, auditabilidad y justificación. Son distintos derechos fundamentales y constitucionales los que ya imponen estas exigencias: el derecho de acceso a la información, el debido proceso y las garantías judiciales y administrativas o el derecho a la protección de datos, entre otros. La justificación incluye el acceso a los algoritmos y a los sistemas en los que se integran, los datos que manejan y su calidad, la rendición de cuentas con identificación de quién responde del funcionamiento y con explicación acerca de cómo funciona, así como los motivos y las razones por los que se ha tomado una decisión pública que afecta a una persona en concreto o a un colectivo, todo ello para no vulnerar el principio constitucional de interdicción de la arbitrariedad.
Es más, es precisa una transparencia y justificación desde el diseño que genere datos auditables: los sistemas inteligentes deben ser también diseñados de modo que permitan ser supervisados y monitoreados ya por humanos, ya por otros sistemas inteligentes; asimismo se precisa una IA guardiana. En definitiva, el Derecho necesita instrumentos inteligentes para tratar con instrumentos inteligentes.
10. Hay que reforzar los derechos a la igualdad y no discriminación para evitar el menoscabo que el uso intenso de las tecnologías del big data y la IA pueden generar al permitir sistemas de control y monitorización de los ciudadanos con fines más o menos espurios. Voluntaria o involuntariamente, lo cierto es que el manejo de datos de deficiente calidad o un mal diseño pueden generar sesgos y discriminación, que hay que minimizar. Al mismo tiempo, es preciso garantizar que el sistema inteligente no pierda su eficacia por la minimización. También hay que proyectar las técnicas del Derecho antidiscriminatorio en los límites para la corrección de posibles sesgos.
11. Las aportaciones doctrinales y las técnicas jurisprudenciales relativas al control de la discrecionalidad administrativa y su orientación en positivo para la eficacia del derecho a una buena administración (con su correlativa obligación de motivación adecuada de las decisiones) deberán modularse y adaptarse, en tanto que, se ha dicho, la utilización de herramientas predictivas de apoyo a la toma decisiones o de substitución directa de la actividad humana alteran y pueden reducir el ámbito de discrecionalidad conferida a la Administración y a sus decisores humanos. Pese a todo, las posibilidades futuras de una IA adecuadamente ejercida son muchas y la utilización de algoritmos puede redundar en una mayor objetividad en la toma de decisiones administrativas.
En este sentido, podría resultar conveniente la aplicación de un “levantamiento del velo” de la decisión automatizada o algorítmica hasta llegar a la decisión humana. Las actuales regulaciones únicamente fijan reglas y garantías en relación con las decisiones exclusivamente automatizadas y con relevancia para la persona. Ello deja fuera de cualquier protección a los sistemas de apoyo a las decisiones o las decisiones semiautomatizadas. Por ello, hay que estar especialmente vigilantes al hecho de que muy habitualmente el humano sigue la decisión propuesta por el sistema automatizado.
Se ha de reflexionar asimismo sobre la necesidad de reservar espacios y generar garantías para asegurar decisiones humanas en los ámbitos de discrecionalidad administrativa o judicial. En ese sentido, hay que valorar el reconocimiento de un derecho a la decisión significativamente humana. Asimismo, es necesario estudiar la posibilidad de incorporar garantías de necesidad de justificar por los humanos el no seguimiento de la decisión mediante algoritmos. Igualmente, deben generarse contextos que faciliten que el humano no siga automáticamente la decisión del algoritmo.
12. Consideramos asimismo necesarios cambios conceptuales estructurales: determinar la naturaleza de los sistemas algorítmicos, incluso su consideración como posible fuente del Derecho; reflexionar sobre qué es expediente, qué forma parte del él, la necesidad de dar respuestas a la informalidad y a la actuaciones automatizadas. Cabe asimismo valorar la vigencia de las teorías del órgano y del acto administrativo respecto de la actuación con IA del sector público y de los límites a la extensión de estos sistemas.
Todo ello incide, además, en elementos clave del Derecho público, como son las garantías en la aprobación y verificación de sistemas inteligentes, relativas a la responsabilidad en la adopción del proceso decisional; el reparto de papeles desde la perspectiva del Estado democrático; el desplazamiento de la decisión y de la carga de la prueba sobre la adecuación de éstas; la minimización de la tendencia histórica humana a la fascinación y la fe en lo que digan las máquinas (que se remonta a la Ilustración o, incluso, antes); el papel de la colegialidad de las decisiones humanas ante el avance de la IA; o la revisión y monitoreo de los sistemas.
13. También entendemos necesaria la adecuación del marco de la contratación pública para embridar y poner al servicio del interés general –evitando la cautividad de las Administraciones Públicas– la intensa colaboración público-privada en el desarrollo de herramientas algorítmicas, de IA y creación y gestión del big data. Así, la contratación pública ha de integrar las exigencias de transparencia y justificación, así como la no discriminación o el cumplimiento de las normas sobre privacidad. Ello, además, debe permitir la igualdad de los concurrentes en la contratación para satisfacer estos principios en el diseño.
14. Hay que prestar una especial atención a las singularidades de la implantación de la IA en el ámbito de las ciudades inteligentes (smart cities), donde se abre un importante ámbito de experimentación a nivel local con numerosos interrogantes y desafíos jurídicos específicos.
15. Es imprescindible abordar la problemática acerca de la configuración de la propiedad/titularidad de los datos y de los sistemas de IA y su posible tratamiento como “bien comunal” (“data as commons”). En este sentido, hay que valorar supuestos en los que sea preciso exigir que el sistema no sea sólo un servicio que se presta al sector público, sino de propiedad pública.
16. Hay que tener también en cuenta la lucha contra una nueva brecha: la derivada de las dificultades sobre la capacidad de leer y explotar el big data, en tanto que solo aquellas organizaciones con suficientes recursos humanos y económicos son capaces de aprovechar todas las ventajas de estas nuevas herramientas.
En los últimos años, diversos grupos de investigación de distintas universidades españolas han empezado a desarrollar proyectos de investigación a través de los cuales se ha abordado, desde diferentes perspectivas, el análisis de las promesas y de los riesgos que puede generar el uso de la IA en el sector público y se han planteado algunas respuestas para facilitar que el uso de la inteligencia en las Administraciones Públicas sea acorde con los principios inspiradores el Derecho Público. Entendemos que hay que seguir trabajando en esa línea, ampliando las colaboraciones académicas entre esos grupos y sumando a nuevos en el futuro.
II.- LÍNEAS DE TRABAJO PARA EL FUTURO
Partiendo de las anteriores premisas, podrían identificarse algunas líneas destacadas que pueden servir para orientar la reflexión jurídica y, en su caso, la aplicación práctica de estas tecnologías en el sector público:
1. Con carácter general, resulta imprescindible realizar un esfuerzo conceptual que ayude a clarificar la realidad tecnológica a la que nos referimos al utilizar expresiones como IA o algoritmos. Para ello, convendría impulsar grupos de trabajo inter/transdisciplinares que ayuden a concretar y, en su caso, priorizar, los aspectos técnicos que plantean implicaciones jurídicas relevantes, generando documentos claros y precisos que sirvan de referencia. Es necesario, además, priorizar las manifestaciones tecnológicas que requieren una respuesta jurídica inmediata en la realidad de las Administraciones Públicas, distinguiéndolas de aquellas otras que, por el contrario, requieren de un análisis a medio plazo por resultar menos urgentes.
2. Cualquier intento de abordar el análisis de los retos jurídicos que plantea la IA en el sector público debería partir de la elaboración de un catálogo exhaustivo de las experiencias e iniciativas que operan ya en la realidad, en el que se concretaran una serie de datos mínimos previamente estandarizados desde la perspectiva de las garantías jurídicas.
3. Por lo que se refiere a la naturaleza jurídica de los algoritmos, más allá del gran interés que presenta el análisis doctrinal acerca de su posible carácter como fuente del derecho (norma de carácter reglamentario), la prioridad debería centrarse en el establecimiento de un procedimiento administrativo debido con las garantías adecuadas, en el que, junto con las exigencias jurídicas ya existentes y aplicables (protección de datos, automatización de la actuación administrativa…), se definan con precisión aquellas otras que debieran tenerse en cuenta.
4. En particular, debe prestarse una especial atención al reparto de la responsabilidad en la adopción de las decisiones, distinguiendo claramente los aspectos técnicos de carácter ejecutivo de aquellos que, por el contrario, pueden afectar a la definición de los intereses generales. En este sentido, se plantean tres exigencias:
a) Sería de gran utilidad precisar qué tipo de actos y actuaciones admitirían una completa automatización mediante técnicas de IA de aquellos otros que, por el contrario, convendría que fueran asumidos por una persona. Una línea a explorar es, siguiendo la actual reserva legal de ejercicio de potestades a funcionarios públicos, si debiera existir una correlativa “reserva humana” para ciertas decisiones. Y, en esa misma línea, si la selección y formación futura de los empleados públicos debiera reforzar aspectos referidos a la IA, generando, incluso, cuerpos especializados de intervención algorítmica.
b) Por otro lado, deberían establecerse mecanismos de control al margen de los procesos decisionales que, además, ejercieran su función revisora periódicamente y no en un solo momento. A este respecto, conviene pensar acerca de la necesidad de crear órganos y/o entes públicos especializados en el control de la IA.
c) Debería profundizarse, finalmente, en el papel que le corresponde jugar a la colegialidad, teniendo en cuenta la singularidad de cada uno de los niveles señalados anteriormente.
5. La proyección de estas tecnologías sobre la discrecionalidad y otras figuras cercanas (conceptos jurídicos indeterminados, discrecionalidad técnica, obligaciones jurídicas de buena administración…) adquiere una especial significación desde la perspectiva del control y la motivación de las decisiones administrativas, otorgando un papel relevante a la perspectiva ética como exigencia jurídica inexcusable.
6. Resulta imprescindible del mismo modo profundizar en el alcance de las exigencias de la normativa sobre protección de datos en el ámbito del sector público. En particular, es prioritario establecer con claridad las consecuencias jurídicas del incumplimiento de tales exigencias en el contexto de la IA y, en concreto, de:
a) la privacidad por diseño y por defecto,
b) el principio de minimización,
c) la evaluación de impacto y el análisis de riesgo,
d) la adopción de medidas que garantice una seguridad adecuada en el tratamiento de la información.
7. La proyección del principio de transparencia en las singularidades de esta tecnología adquiere una especial transcendencia, si bien con límites que han de ser determinados, de manera que resulta imprescindible establecer los mecanismos adecuados para asegurar su efectividad y el respeto al resto de los intereses generales en conflicto (seguridad pública, función de control e inspección…), al menos en un triple nivel:
a) en el contexto del procedimiento de aprobación del uso del correspondiente algoritmo,
b) en relación a las concretas decisiones que se adopten,
c) en los procesos de control y revisión.
8. Las entidades públicas han de asumir un papel activo en la gestión contractual referida al uso de la IA, valorando con carácter previo qué condiciones deberían respetarse por parte de las entidades privadas contratistas teniendo en cuenta las singularidades del sector público. En concreto, debe reflexionarse sobre cuál debería ser el régimen de transparencia y acceso a la programación y en qué condiciones se podría disponer de la titularidad o, en su caso, de los derechos de uso de los algoritmos.
9. Debe prestarse una especial atención a la implementación de la IA en los ecosistemas de ciudades inteligentes debido a la singularidad de los tratamientos de información que allí tienen lugar, por su incidencia sobre los derechos y libertades, que puede ser especialmente intensa.
10. Han de fijarse las premisas jurídicas para reforzar la función de control de las entidades públicas utilizando tecnologías basadas en la IA[3].
En relación con todas y cada una de estas diez líneas de trabajo para el futuro, cabe subrayar y reivindicar el papel de los especialistas y académicos en las investigaciones y proyectos públicos y privados de IA.
En este sentido, teniendo en cuenta las anteriores reflexiones y propuestas, consideramos muy oportuna y necesaria creación de la Red de Derecho Administrativo e Inteligencia Artificial. Una red que permita compartir el conocimiento sobre el impacto en el Derecho Público del uso de la inteligencia artificial por los poderes públicos generado por los diversos grupos de investigación que conformen la misma, así como crear un espacio permanente de discusión con el fin de profundizar en las respuestas que desde el Derecho se pueden ofrecer a los retos de la IA y a los riesgos que plantea su utilización en el sector público. Con ello, también se persigue facilitar el incremento del uso de la inteligencia artificial en el sector púbico en España conforme a las exigencias y parámetros propios de un Estado democrático de Derecho. Esta necesidad es especialmente acuciante a la vista de la complejidad de la IA y de la multitud de retos que su uso plantea para el Derecho Público, lo que exige una respuesta interdisciplinar y con la participación de amplios equipos de investigadores.
La Universidad siempre ha sido generadora de conocimiento. Su colaboración con el resto del sector público y con el sector privado ha de facilitar cauces seguros de innovación. Una red académica, multidisciplinar, integradora, puede contribuir eficazmente a afrontar algunos de los desafíos que la IA impone.
Toledo, 17 de abril de 2019
* La elaboración de una primera versión de este texto ha correspondido a quienes tenían encomendada la tarea de presentar las conclusiones del I Seminario Internacional sobre Derecho Administrativo e Inteligencia Artificial (DAIA): Lorenzo Cotino Hueso, Catedrático de Derecho Constitucional de la Universidad de Valencia; y Julián Valero Torrijos, Catedrático de Derecho Administrativo de la Universidad de Murcia. En la redacción final han participado los organizadores del Seminario y los ponentes del mismo. Junto con las dos instituciones impulsoras de la creación de la Red Derecho Administrativo e Inteligencia Artificial (el Centro de Estudios Europeos “Luis Ortega Álvarez” de la Universidad de Castilla-La Mancha y el Instituto de Investigación Transjus de la Universidad de Barcelona), se adhieren a estas conclusiones y a la propia Red tanto la Red DerechoTics, como el grupo de investigación Idertec.
[1] Comunicación de la Comisión al Parlamento Europeo, al Consejo Europeo, al Consejo, al Comité económico y social europeo y al Comité de las regiones, Inteligencia artificial para Europa {SWD(2018) 137 final}: https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=CELEX:52018DC0237).
[2] Así, cabe recordar el “Plan coordinado sobre la Inteligencia artificial”, de 7 de diciembre de 2018, de la Comisión Europea y su Anexo respecto de una IA “Made in Europe” y “confiable”. En esta dirección, el Grupo de expertos de alto nivel en IA publicó el 18 de diciembre de 2018 el “Proyecto de Directrices de Ética para una IA Confiable”, que fue sometido a consulta pública. La versión definitiva del mismo ha sido recientemente aprobada: Ethics Guidelines for Trustworthy AI, disponible en https://ec.europa.eu/newsroom/dae/document.cfm?doc_id=58477. El mayor distintivo de esta marca Europa es el “Ethics & Rule of law by design X-by design”. Ello incluye el cumplimiento de los principios éticos básicos, la creación de comités y de delegados de ética en todo tipo de proyectos y corporaciones, la elaboración de normas de conducta profesional, informática, de usuarios, etc.
[3] En este sentido, cabe llamar la atención sobre la puesta en marcha del sistema automatizado previsto de la Ley 22/2018, de 6 de noviembre, de la Generalitat, de Inspección General de Servicios y del sistema de alertas para la prevención de malas prácticas en la Administración de la Generalitat y su sector público instrumental.