|
||||
 |
||||
Desde hace unos años las noticias que refieren el empleo de avanzados programas informáticos de inteligencia artificial para las más variadas tareas se suceden cada vez con más frecuencia. Sólo en nuestro país es ya habitual su uso, aunque sea incipiente, para la prevención de casos de violencia de género a la detección de fraudes de todo tipo, del control de posibles cárteles a intentos de defraudar a la Seguridad social o a Hacienda o en el disfrute de ayudas públicas, y en algunos países de la Unión Europea ya se apuesta abiertamente incluso por la puesta en marcha de avanzados sistemas de control del comportamiento de los ciudadanos en espacios y vía públicos. Si hiciéramos caso a los medios de comunicación y generalizáramos lo que nos van contando, llegaríamos a la conclusión de que el empleo de algoritmos para realizar funciones de inspección o control por parte de nuestros poderes públicos es una realidad consolidadísima, totalmente asentada y, aparentemente, que se viene desarrollando sin mayores dudas jurídicas sobre cómo habría de realizarse.
De momento, sin embargo, la regulación que tenemos no está aún debidamente adaptada, es francamente deficiente y, además, de resultas de todo ello, acaba operando de forma muy poco garantista. Ante esta situación, preventivamente, en una suerte de manifestación de un “principio de precaución” tecnológico (Cotino Hueso), algunos países, como Alemania, han optado por una alternativa que excluya radicalmente la adopción de toda decisión exclusivamente automatizada que afecte a ciudadanos, en lo que ha sido llamado como una “reserva de humanidad” (Ponce Solé) aplicada a estos casos, pero ni siquiera esta opción es realmente satisfactoria. Por un lado, porque sigue dejando la puerta abierta a ese uso instrumental en teoría, pero en el que en la práctica la decisión algorítmica, aunque imputada a un humano, se acaba imponiendo efectivamente -y que cada vez estaría llamada a ser más frecuente-. De otra, porque generalizarla y consolidarla para el futuro supondría renunciar a ganancias de eficiencia allí donde sepamos que en efecto las hay, lo que no parece una solución óptima.
En otros casos, como pasa en España, contamos con normas más bien parcas, como es el art. 41 de la Ley 40/2015 de Régimen Jurídico del Sector Público (LRJSP), pensado para actuaciones automatizadas donde la informática actúe más bien como elemento de agilización y automatización de decisiones totalmente predeterminadas normativamente, razón por la cual establece pocas cautelas más que la designación de un responsable del tratamiento y del funcionamiento del algoritmo en cuestión, pero poco más, y que por ello es manifiestamente insuficiente para supuestos donde el algoritmo haga mucho más, como controlar, tomar decisiones complejas a partir de una lógica cuyos resultados son difíciles de prever ex ante o se encargue de evaluación de circunstancias y datos que van más allá de lo que un ser humano puede afrontar razonablemente de modo eficiente. Esta carencia de normas que encuadren suficientemente el fenómeno nos ha hecho acudir a normas europeas, especialmente a las reglas en materia de protección de datos (el Reglamento General de Protección de Datos, que es el texto de referencia a día de hoy, por vía indirecta y empleando la protección de datos, para tratar de controlar ciertas decisiones algorítmicas, también las públicas), para tratar de contener mínimamente el fenómeno y dotarnos de un mínimo de seguridad. Desgraciadamente, el intento no está llamado a tener demasiado éxito. No sólo porque estas normas, por definición y diseño, estén pensadas más para mediar entre situaciones entre agentes privados y por ello pueda ser manifiestamente insuficientes para un encuadre del tratamiento por parte del poder público, como entre nosotros por ejemplo ha explicado Alba Soriano, sino porque además en su propio desarrollo y literalidad, coherente con este postulado, aunque no excluyen del cumplimiento de estos mínimos al tratamiento por parte de la Administración pública, sí incluyen la posibilidad de que estos queden excepcionados por la regulación legal correspondiente. Lo que suele ser el caso, dejándonos en situaciones como la del precitado art. 41 LRJSP.
Incluso la reciente propuesta de regulación más detallada, en sede europea, sobre el empleo de algoritmos e inteligencia artificial que puedan generar riesgos o discriminaciones, recientemente desvelada, sigue esta misma línea. Aunque se trata de una mera propuesta, y sin duda representa un avance notable, por ejemplo, al reconocer por primera vez de forma exhaustiva y detallada los riesgos propios e implícitos de generación de riesgos de discriminación o sesgos propios de estos tratamientos, aspirando a darle una solución específica desde la programación y el control de la misma, el enfoque sigue siendo común, estableciendo controles semejantes para el mundo público o privado y unas categorías (riesgo inadmisible, alto riesgo, riesgo limitado…) de las que se deducen consecuencias jurídicas (prohibición de uso, mayores limitaciones o exigencia de ciertos controles) que en principio si pueden permitir diferenciar entre tratamientos públicos o privados, pero sin que esta diferenciación aparezca como clave en ningún lugar. Es más, da la sensación en la regulación que al menos para cuestiones de interés general así definidas legalmente, esto es, en favor de los poderes públicos, ciertas ponderaciones pueden actuar en el sentido de que, si finalmente este marco normativo se aprobara, las categorías no funcionaran exactamente igual en unos ámbitos y otros.
Por esta razón, una primera y muy importante decisión regulatoria que parece absolutamente esencial, pero que todavía no se ha asumido plenamente, es que los usos y empleos de la inteligencia por parte de la Administración, por parte de los poderes públicos, han de ser tratados de forma diferenciada y, al menos respecto de la afección que pueden suponer a las personas en sus derechos y esfera de libertad, de modo mucho más exigente. Más o menos en esta línea, en lo que es sin duda un avance, parecía ir la propuesta de Carta de Derechos Digitales avanzada por el Gobierno de España. Al menos, así parecía deducirse de su punto XVI, si bien con un reconocimiento de derechos más bien tímido y, en concreto de algunas referencias en los derechos frente a la inteligencia artificial que en su punto XXII podrían, si desarrollados correctamente, amparar un derecho al conocimiento exacto y completo de la programación empleada por la Administración que tenga efectos sobre los ciudadanos. Ahora bien, ha de señalarse que ni esta conclusión se deduce necesariamente del texto, sino que para llegar a ella se requiere de una interpretación exigente y que quiera ir en esa dirección, ni además esta propuesta pretende siquiera tener valor normativo en sí misma. Queda, pues, muchísimo por avanzar en esta dirección. Si la Carta sirve para iniciar el debate, dado que no parece ser su intención otra, recojamos el guante y planteemos cuáles deberían ser los elementos básicos y estructurantes de cualquier regulación mínimamente garantista y admisible, por ello, para estos usos de algoritmos por parte de la Administración Pública.
En este sentido, ha de reiterarse, y partir de esa base, que los poderes públicos, cuando empleen algoritmos -por ejemplo para sus labores de inspección y control- están también ejerciendo funciones públicas y de autoridad. Y lo hacen con un abanico de facultades en su poder que potencialmente pueden afectar de modo muy intento a la vida y situación de cualquier ciudadano. Así pues, si en estas funciones la predeterminación de cómo se emplearán esos poderes públicos tan intensos queda residenciada en -no parece adecuado decir en estos casos “queda en manos de”- un algoritmo o programa informático, esta inteligencia artificial que sustituirá a la humana debe actuar de acuerdo a una “programación jurídica” lo suficientemente clara, entendible, transparente y accionable. Una programación que atienda a, responda a y garantice, al menos, y con una debida traducción al nuevo lenguaje que es la programación informática con la que funciona la herramienta, todas las cautelas y protecciones públicas que nuestro Derecho ha ido desarrollando para embridar y pautar, para controlar, el ejercicio del poder por parte de esos poderes públicos.
Pues bien, por estas razones, y dados todos estos elementos, a mi juicio resulta obvio que hemos de hacer un esfuerzo para trasladar, “traducir” o rediseñar las garantías propias del ejercicio de la potestad reglamentaria para que, debidamente adaptados, aparezcan también como garantías y exigencias en la aprobación de cualquier sistema algoritmos de control o inspección que tenga una capacidad efectiva de preconfiguración de la decisión que va a llevar al ejercicio del poder público. Porque, como he manifestado en ya en otras ocasiones, a estos efectos, y cuando son así empleados por las Administraciones públicas y producen estas consecuencias sobre los ciudadanos, los algoritmos son reglamentos. Como tales hemos de asumirlos y como tales hemos de tratarlos. Estas garantías tradicionales, si se quiere debidamente adaptadas, han de constituir por ello el marco básico esencial de lo que debe constituir el futuro de las garantías que frente al empleo por parte de la Administración de herramientas digitales de control e inspección hemos de tener los ciudadanos.
No debe perderse de vista, por último, y es una idea importante con la que me gustaría acabar, que esta correcta traslación de garantías no es sólo imprescindible como medida de protección de los ciudadanos, sino en realidad también esencial para la posibilidad efectiva de puesta en marcha de estos sistemas de un modo que se les pueda extraer todo su rendimiento. La reciente y conocida sentencia SyRI, de febrero de 2020 sobre un sistema de control algorítmico muy avanzado para prevenir posibles fraudes en ayudas sociales en los Países Bajos, es un excelente ejemplo de cómo, cuando los sistemas algorítmicos se ponen en funcionamiento tratando de extraer sus ventajas en términos de eficiencia pero sin asumir que la existencia de los riesgos expuestos requiere de un sistema de garantías acorde, están destinados al fracaso. Los tribunales, ante los riesgos evidentes de un sistema de control como este, y por mucho que apareciera dibujado como mera herramienta de apoyo, no los van a validar fácilmente. Como demuestra esta importante decisión judicial, en el futuro, si la Administración quiere usar estos sistemas de forma generalizada y extraerles todo su rendimiento, no va a tener más remedio que regular mucho mejor, más intensamente, más al modo de cómo los reglamentos disciplinaban y disciplinan aún hoy en día el ejercicio del poder, cómo habrá que empezar a desplegarlo ahora y en el futuro a partir de decisiones algorítmicas automatizadas.
– – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – — – – – – – – – –
Publicado originalmente en el blog de IberICONnect, el 2 de agost de 2021
Cita recomendada: Andrés Boix Palop, “El empleo de algoritmos para realizar funciones de inspección o control por parte de la Administración y su encuadre jurídico” IberICONnect, 2 de agosto de 2021. Disponible en: https://www.ibericonnect.blog/2021/08/el-empleo-de-algoritmos-para-realizar-funciones-de-inspeccion-o-control-por-parte-de-la-administracion-y-su-encuadre-juridico/
Sobre la naturaleza jurídica de los algoritmos empleados por la Administración para la toma de decisiones
I. Introducción
La relación del Derecho público y en concreto del Derecho administrativo con las llamadas “nuevas tecnologías” de la información y de la comunicación no es ya tan nueva sino que lleva muchos años desarrollándose, por lo que es posible en estos momentos contar ya con sólidos indicios de cuáles son los problemas y riesgos no sólo presentes sino también futuros, así como los retos que plantea el necesario ajuste de aquél a éstas. Este ajuste, en tanto que jurídico, no opera en el vacío sino que lo hace con base en un mandato constitucional que, con independencia de los desarrollos a los que ha dado lugar con posterioridad, algunos de gran virtuosismo -incluso hemos extraído un nuevo derecho fundamental de ese precepto, como es de todos conocido, en forma de “derecho a la autodeterminación informativa” del art. 18.4 CE-, obliga a respetar una regla bastante sencilla que, la compartamos o no, es a día de hoy el Derecho vigente: le directriz constitucional que encontramos en ese precepto constitucional impone limitar los desarrollos de estas tecnologías siempre que se necesario para garantizar el pleno ejercicio de derechos por parte de los ciudadanos. Por otro lado, a nadie debería escapársele que con esta formulación de manera implícita, y a mi juicio muy acertadamente, el texto constituyente concibe la evolución tecnológica como potencialmente muy peligrosa para los derechos de los ciudadanos y pone el acento sobre la necesidad de garantías jurídicas (algo esencial en estas materias que, desgraciadamente, no siempre tiene en cuenta nuestro legislador a la hora de reformar el procedimiento administrativo). De alguna manera, como ya se ha recordado (Cotino, 2019), esto impone una suerte de traslación del principio de precaución en clave tecnológica.
La razón por la que señalo estos dos factores a efectos de enmarcar este comentario, por muy obvios que puedan parecer y por ello de innecesaria expresión, es porque, sorprendentemente, ni el legislador ni la Administración pública española parecen particularmente concernidos por ellos. El tratamiento que la ley 30/1992, de 26 de noviembre, del Régimen Jurídico de las Administraciones Públicas y del Procedimiento Administrativo Común (LRJAP) da desde sus orígenes a esta cuestión es llamativamente pobre, por no decir prácticamente inexistente. Algo que, paradójicamente, como desarrollaré más adelante, tenía efectos positivos a mi juicio, en la medida en que, aunque sea cierto que se le puede reprochar a su texto original carecer de la “perspectiva dinámica” (Julián Valero, 2015), también lo es que las “pretensiones de amplitud en la regulación” de un precepto como el primigenio art. 45 LRJAP combinadas con reglas procedimentales expresadas con independencia del canal de comunicación empleado permitían aceptar ciertas soluciones con un grado de flexibilidad que quizás la práctica legislativa posterior, más ceñida a la regulación en concreto del fenómeno, ha debilitado. Adicionalmente, y de manera meramente principial, el mencionado precepto sí establece ciertas cautelas y recuerda la necesidad de preservar el contenido material de ls garantías sea cual sea el desarrollo tecnológico.
Una idea desaparecida de la actual Ley 39/2015, de Procedimiento Administrativo Común (LPAC) y a la que hemos de volver. La Ley 11/2007, de 22 de junio, de Acceso Electrónico de los Ciudadanos a los Servicios Públicos (LAE), por su parte, sí supuso un intento serio de, al menos, hacer frente al mandato constitucional de tratar de encauzar y limitar el uso de la informática de modo que no suponga mermas en la capacidad efectiva de los ciudadanos de hacer valer sus derechos. Sin embargo, ni su desarrollo fue demasiado satisfactorio ni la manera en que se ha procedido a integrar su contenido en la regulación común del procedimiento administrativo en la actualmente vigente LPAC son demasiado exigentes. Las críticas por las insuficiencias de esta integración han sido generalizadas entre quienes han analizado la cuestión (véase Baño León, 2015; Santamaría Pastor, 2015; o, por ejemplo, la entrada que dediqué a esta cuestión en este mismo blog).
A partir de estas ideas básicas de traslado de las garantías tradicionales en sentido material al nuevo contexto tecnológico y de su importancia capital a la hora de desplegar el empleo de medios tecnológicos por parte de las Administraciones Públicas vamos a tratar de justificar la necesidad de traducir algunas de las reglas tradicionales, de la forma más prudente posible, al empleo por parte de las Administraciones Públicas de algoritmos, utilización que a día de hoy cuenta con un marco jurídico más bien parco y peligrosamente generoso.
II. El código fuente es código jurídico y como tal hay que tratarlo
En una de las primeras obras que trataron de forma moderna y global la enorme significación jurídica de los cambios que las nuevas tecnologías nos iban a deparar, la primera edición de Code (Lessig, 1999), se avanza desde sus primeras páginas una reflexión que el tiempo no ha hecho sino confirmar: estamos ya de lleno en una sociedad en la que, cada vez más, el verdadero alcance de los derechos de los ciudadanos va a depender en mayor medida de los códigos de programación a partir de los cuales se articula el funcionamiento de todo tipo de aplicaciones informáticas que de los mismísimos códigos jurídicos tradicionales que tanto veneramos los juristas. La afirmación puede parecer exagerada –o quizás exagerada… de momento- pero apunta en una dirección interesante: la programación de las tareas, por definición automatizadas, de mayor o menor complejidad, son un elemento consustancial al aprovechamiento de las tecnologías actualmente disponibles que, además, está llamado a ir a más en el futuro. De hecho, no sólo a ir a más sino a ser, y conviene tenerlo bien presente, la parte cuantitativamente más relevante de la acción administrativa del futuro. Un futuro que, ha de tenerse bien presente, está ya aquí en materia de automatización y programación de actividades supuestamente complejas y no sólo en actividades privadas sino en muchas donde hay bien una supervisión pública intensa o un directo protagonismo “prestacional” por parte de la propia Administración –conducción de coches automatizada, drones que operan a partir de programación, trenes sin conductor, armas modernas que deciden cuándo activarse a partir de una programación previsamente determinada…-
Est dinámica será tanto más importante cuanta más inteligencia artificial haya implicada –y cada vez habrá más-. Así, probablemente, el estudio de las categorías clásicas es particularmente útil para mostrarnos su inutilidad hasta que no asumamos que hemos de, sencillamente, asumir que la inteligencia artificial es inteligencia a casi todos los efectos jurídicos y tratarla, en este caso sí, de un modo acorde a como tratamos a la inteligencia, digamos, “tradicional”. Las reflexiones en materia de inteligencia artificial y su evolución futura son numerosísimas en la actualidad. Valga la actualizada síntesis, con mucha información y planteando los retos de futuro, sobre los retos regulatorios de futuro que aparecen en las conclusiones de Asilomar (Tegmark, 2017) o las cautelas que recientemente han desarrollado en forma de principios de regulación las instituciones europeas.
Por la razón expuesta es por lo que es particularmente relevante, a su vez, asumir de una vez con todas las consecuencias que, como enunciábamos inicialmente, el código fuente es código jurídico. Lo es, de hecho, a todos los efectos. Lo es porque ese código delimita el efectivo marco de actuación de los particulares, marca los límites a sus derechos y genera una producción con efectos jurídicos que fácilmente podemos llamar “actividad administrativa” de forma automatizada a partir de esos parámetros previamente configurados, no tengo la más mínima duda de que estamos ante algo muy parecido a normas reglamentarias. Y lo es también porque es el reglamento que preordena los márgenes de la actuación de la inteligencia artificial que, más o menos modesta según los casos, ejecuta sus instrucciones, de un modo conceptualmente parangonable, de forma estricta además, a la actuación que nuestro Derecho presupone a una inteligencia humana convencional cuando ha de ejecutar una actuación adminitrativa normativamente enmarcada. Porque, como se ha dicho, el código fuente es, en efecto, código jurídico y como tal actúa. A efectos de la forma en que algoritmos, programación y código predeterminan deciciones puede constarse que toda programación no es sino una reglamentación (Harari, 2015; Tegmark, 2017) simplemente mucho más predeterminada y fiable.
Desde este punto de vista podríamos considerar que, sin duda, todo algoritmo usado por la Administración para adoptar decisiones no es sino un reglamento. O que todo algoritmo de apoyo opera como la parte reglada de un proceso de toma de decisiones. Que su «naturaleza jurídica», si así se quiere explicar, es la de un reglamento tradicional sin necesidad de añadir mucho más… y provocando la consecuencia jurídica de que hubiera que trasladar in toto la regulación tradicional que hemos ido decantando durante todos estos años respecto de las normas reglamentarias y su funcionamiento y encuadramiento en Derecho.
Ello no obstante, esta discusión sobre la naturaleza jurídica puede obviarse sin problemas en la práctica. A fin de cuentas, no es sino una cuestión conceptual y, si se quiere, dogmática, con pocas repercusiones prácticas… siempre y cuando se quede sólo en eso. Mucho más significativa, en cambio, y cuestión de la que en ningún caso se puede prescindir, es su derivada práctica y, en concreto, la ineludible necesidad de trasladar, como habría exigido el art. 45 LRJAP, todas aquellas garantías respecto de este tipo de “código” para proteger la posición y derechos de los ciudadanos de manera que queden en idéntica posición que cuando son afectados por actuaciones administrativas ordinarias.
III. La traducción de algunas garantías tradicionales a la regulación de la actividad automatizada y realizada por medio de algoritmos/programas… y sus problemas
Si analizamos con un mínimo de exigencia cuáles habrían de ser esas garantías, resulta que son estrictamente equivalentes a las que, más o menos, hemos ido decantando arduamente durante décadas como absolutamente necesarias en un Estado de Derecho para cualquier norma reglamentaria. Lo cual no es llamativo, pues, como se ha dicho, plantean materialmente los mismos problemas. Yendo un poco más allá en este punto, un régimen mínimo de garantías:
- Debiera obligar como mínimo a que todo proceso de elaboración de estos códigos se desarrollara de una manera estrictamente pautada, con información pública, participación ciudadana, y con respeto a una serie de reglas y procedimientos de elaboración para los mismos que aseguren su efectivo contraste y análisis profundo durante ese proceso de elaboración (y, por ejemplo, aplicarles todo el nuevo Título VI de la LPAC). Sólo de este modo puede lograrse que la producción de las normas que de facto van a gobernar cada vez más las relaciones interadministrativas y a enmarcar los derechos de los ciudadanos sean no sólo de la suficiente calidad técnica –pero también jurídica aunque estemos hablando aparentemente de la mera programación informática- sino que además pueda desarrollarse desde su origen un control adecuado sobre el funcionamiento de las aplicaciones y de los diversos sistemas automatizados. El régimen actualmente vigente en la ley 40/2019, de Régimen Jurídico de las Administraciones Püblicas, (LRJ) es francamente insuficiente a este respecto, pues se limita a exigir, únicamente, la identidad del responsable de la programación en la regulación, insólitamente escueta, del encuadramiento jurídico de la actividad jurídica automatizada (art. 41.2 LRJ). No se desconocen los problemas y dificultades que de esta posición más exigente se derivarían en cuanto a las exigencias para poner en marcha actuaciones automatizadas, pero las garantías de los ciudadanos justifican sobradamente que se actúe de este modo, como demuestra la lógica de la propia legislación vigente sobre la producción de normas reglamentarias que vayan a desplegar efectos sobre los ciudadanos.
- En lógica correspondencia con esta necesidad de control, y una vez aprobada, la programación correspondiente, y todo su código fuente, debieran ser siempre públicos –del mismo modo que lo son, y de nuevo aparece una evidente identidad de razón, las normas reglamentarias-. Todos los ciudadanos debieran poder conocer y revisar hasta el último detalle esta programación, al menos en todos aquellos casos y en la medida en que tenga que ver con el ejercicio de sus derechos, de modo que se pueda entender por cualquiera con los conocimientos y el tiempo necesarios el exacto funcionamiento del código y que se puedan desentrañar tanto los efectos del mismo como, en su caso, sus posibles fallas y defectos. Como ha señalado la doctrina, tampoco a día de hoy tenemos garantías suficientes en este sentido, pues apenas si contamos con la externa y no pensada para resolver esta cuestión protección que aporta la LOPD al establecer que todo ciudadano ha de ser informado de que va a ser objeto de un tratamiento y decisión automatizada (Cotino, 2019). Tampoco mucho más exigente, aunque a falta de otras normas que encuadren la cuestión a ella se ha remitido hasta la fecha casi tofo el mundo, es en la práctica el Reglamento europeo General de Protección de Datos (RGDP). De hecho, una reciente e importante sentencia neerlandesa de la Corte del Distrito de La Haya de 5 de febrero de 2020 sobre empleo de algoritmos para realizar ciertas apreciaciones de riesgo que luego la Administración emplearía en inspecciones y controles, para prohibir el empleo del algoritmo en cuestión, ha de recurrir a las normas europeas del CEDH en materia de privacidad ante la ausencia de reglas verdaderamente exigentes en el RGPD. Incluso en el caso de que de ahí se derive alguna posibilidad de opting out, que por lo demás no parece que sea el caso combinado con el art. 41.2 LRJ vigente, es una garantías francamente insuficiente. Ninguna consideración de protección de propiedad intelectual o industrial, por otro lado, debiera poder oponerse a esta pretensión. De otro modo estaríamos aceptando una cierta “privatización” inadmisible de algunas normas y de sus mecanismos de funcionamiento, algo que no porque tenga ciertos precedentes en nuestros Derechos – es el caso de algunas normas privadas que tienen efectos públicos y que no son enteramente públicas, lo que con razón ha sido denunciado como contrario a nuestro modelo de Estado de Derecho- deja de ser inquietante y que además en este caso cuenta con el agravante de que la complejidad de este tipo de programación la hace especialmente opaca al escrutinio individual por cada ciudadano –razón por la cual es si cabe más importante que éste pueda ser realizado de forma general y constante por toda la colectividad, pero en realidad, estas barreras de entrada, aunque de diverso tipo, tampoco son, de nuevo, muy diferentes a las que el común de los ciudadanos pueden experimentar respecto de la mayor parte de las normas reglamentarias: la diferencia es que aquí los “legos” somos los tradicionales chamanes que las controlábamos en el pasado: los juristas-. Como es evidente, de esta posición se derivará un encarecimiento de la actividad administrativa, por cuanto el desarrollo o, en su caso, la adquisición de programas que incluya la propiedad del código y con ella su posible difusión y publicación es más cara que la compra de meras licencias de uso. Pero, de nuevo, la mínima precaución debida y los derechos de los ciudadanos justifican sobradamente la cautela.
- Además, esta programación, reforzando la idea de que estamos ante una realidad con una clara identidad de razón con cualquier norma reglamentaria, debiera poder ser cuestionada y analizada en cada supuesto aplicativo concreto, y tras la constatación en su caso de la existencia de defectos en la misma o de confirmarse que su funcionamiento limita o cercena derechos de los ciudadanos, debiera poder ser impugnada por ello, con independencia de cuándo hubiera sido aprobada. De nuevo vemos que, más allá de la cuestión puramente terminológica y conceptual, las garantías materiales por las que vela el establecimiento de la posibilidad de un procedimiento de recurso tanto directo como indirecto contra reglamentos tienen toda la lógica que sean aquí replicadas porque los problemas prácticos y riesgos concretos que puede suponer una programación informática fallida, un código fuente erróneo, son los mismos que los que supone un reglamento ilegal.
- En este sentido, ha de criticarse la posición defendida por Esteve Pardo (2007), que califica de ilusoria la pretensión de controlar por medio del Derecho “cada uno de los detalles y aspectos concretos del funcionamiento de las aplicaciones informáticas y los sistemas de información” (también Valero, 2015, parece escéptico en algún momento sobre la posibilidades efectiva de lograr hacer funcionar estos controles). Al menos, y en la medida en que nos refiramos a las aplicaciones y sistemas que está empleando la Administración pública, y más aún cuando se trata de las que ésta emplea en sus relaciones con los ciudadanos, esta aspiración no sólo no es ilusoria sino que debiera ser absolutamente esencial. Y con todo detalle y rigor, es decir, llegando a “todos los detalles y aspectos concretos”, sea el código propietario o no, razón por la cual, por cierto –y como desarrollaré más tarde, esta cuestión debiera ser reevaluada para garantizar la independencia de la Administración y su capacidad efectiva de hacer su labor-. En la medida en que, como se ha reiterado, estamos hablando de un código que es a la postre código jurídico, toda esta labor ha de ser completamente controlada y definida por la Administración pública, que es además la responsable a todos los efectos de la misma. Y ello con independencia de que pueda ser externalizada o de que normalmente sea realizada, en el mejor de los casos, por los servicios de informática de las respectivas administraciones públicas. Esta tarea, por mucho que pueda requerir de una capacidad y especialización adicional, es indudablemente jurídica y ha de ser tratada como tal.
IV. Efectos adicionales de la actividad algorítimica que refuerzan la necesidad de garantías
A corto plazo, es patente la necesidad de mayor control sobre el uso meramente accesorio y de apoyo (transparencia, qué, cuándo, cómo, por qué, en qué casos, con qué incidencia), por ejemplo en tareas de inspección, pero no ha de perderse de vista que, además, su carácter de actuación de apoyo es crecientemente una ficción. Además, esta pretensión es coherente con la reciente exigencia incrementada en el encuadre jurídico de la legalidad de estas actuaciones.
En general hay una gran potencia, y beneficios, en el empleo de algoritmos a la hora de permitir una mayor capacidad de disección y de control sobre las decisiones y situaciones en entornos predecibles (y la actuación administrativa y las decisiones judiciales, por ejemplo, lo son). No tiene sentido no aprovecharla (a este respecto la decisión polémica adoptada en Francia y la decisión 2019-778 DC du 21 mars 2019 del Conseil Constitutionnel francés que ha declarado inconstitucional la restricción sobre la publicidad y posibilidad de reutilización de identidad de jueces en sus decisiones y votos particulares (art. 33 código de justicia). Simplemente, ha de ponerse esta capacidad de disección y control a jugar en favor de la previsibilidad y el control ciudadano.
Previsibilidad y transparencia absolutas que, además, serán si cabe más necesarias para hacer frente a algunos cambios estructurales que las decisiones automatizadas o algorítmicas provocarán inevitablemente sobre los entornos de actuación informal, no reglada o incluso sobre las consecuencias de la acción no-legal, alegal o ilegal. A modo de síntesis rápida, piénsese en estos ejemplos:
- la determinación de qué es o no parte del expediente administrativo (art. 70.4 LPAC), de qué ha de formar parte del él a efectos de transparencia, acceso… tiene gran importancia a la hora de determinar qué procesos algorítmicos forman o no parte del mismo;
- los algoritmos y los programas van a generas decisiones siempre iguales y uniformes, ¿hay un valor en la no uniformidad y en la posibilidad de matizar, en la dispersión, en la informalidad decisoria (al menos, en algunos casos)? El uso de algoritmos y programas, en la medida en que la veda u obliga a programar de antemano las diferencias, nos sitúa frente a una necesidad de total transparencia decisoria que ha de ser totalmente pública;
- en una línea semejante, la dureza o generosidad en las consecuencias jurídicas no admitirá modulaciones no previstas de antemano, lo que de nuevo exige una reflexión completa, detallada y totalmente transparente ex ante (sobre esto, también, Nieva Fenoll, 2018);
- por último, y en esta misma línea, la imposibilidad de actuación en la ilegalidad o contra el algoritmo, ¿tiene valor en ocasiones, tanto particular como en ocasiones social la actuación no adecuada a la norma? ¿tiene sentido poder consentirla o aceptarla? ¿hay costes diferenciados en la ilegalidad que pueden señalar utilidad diferenciada que quizás es indicio de que pueda generar utilidad social si se pagan los costes diferenciados en que se puede incurrir?
Todas estas preguntas han de ser contestadas, una vez más, ex ante, y por ello requieren de transparencia y garantías propias de la elaboración de un reglamento.
V. A modo de conclusión (provisional)
Por todas estas razones, el actual régimen legal que contempla que estas programaciones han de ser aprobadas formalmente por la entidad pública que vaya a utilizarla “por ejemplo, a través de un acto administrativo, no siendo imprescindible una norma reglamentaria-, especialmente en aquellos supuestos en que su funcionamiento pueda afectar a los derechos y libertades de los ciudadanos” (Valero, 2015) es francamente insuficiente. Insistiendo en la necesidad de reconstruir las categorías y no pretender que haya de ser necesariamente posible una coincidencia exacta o una reconducción absoluta a conceptos surgidos para designar, sencillamente, otras realidades, podría decirse que no sólo es que sí deberían ser aprobados por medio de normas reglamentarias sino que debieran serlo como normas reglamentarias porque en la práctica y a efectos materiales es lo que son… o, al menos, debieran ser aprobadas con un sistema que garantice todos los mecanismos de participación, publicidad, control e impugnabilidad procesal propios de las normas reglamentarias, en la medida en que el código fuente plantea exactamente las mismas necesidades de control que el código jurídico, pues de aquél van a depender, exactamente en la misma medida que en el pasado dependían de éste, los derechos de los ciudadanos en sus relaciones con los poderes públicos y su efectividad. Ésta es una reflexión que, por lo demás, no está tan alejada, entiendo, del espíritu que late en trabajos como el de Valero (2015) que venimos citando cuando reclama con toda la razón “un derecho por parte de los ciudadanos a obtener toda aquella información que permita la identificación de los medios y aplicaciones utilizadas, del órgano bajo cuyo control permanezca el funcionamiento de la aplicación o el sistema de información; debiendo incluir, asimismo, en su objeto no sólo el conocimiento del resultado de la aplicación o sistema informático que le afecte específicamente a su círculo de intereses sino, además y sobre todo, el origen de los datos empleados y la naturaleza y el alcance del tratamiento realizado, es decir, cómo el funcionamiento de aquéllos puede dar lugar a un determinado resultado”.
La posición defendida, por lo demás, tiene muchas más implicaciones y somos perfectamente conscientes de ello. Por un lado, qué duda cabe, prácticas y sobre la dificultad evidente de una adaptación completa y exigente a la misma. Por otro, en cuantos a algunas repercusiones jurídicas adicionales. Porque si la actividad referida es jurídica y responsabilidad de las Administraciones públicas en toda su extensión, ello ha de suponer que lo será a todos los efectos. Pero no me parece una conclusión ni mucho menos descabellada y, es más, se trata de la única orientación que permite afrontar los problemas futuros a que nos vamos a enfrentar de modo satisfactorio –pensemos en la responsabilidad administrativa y la acción automatizada de drones militares y cuáles serían los centros de imputación jurídica de admitir unas tesis u otras y comprenderemos con facilidad lo inaceptable de un análisis que partiera de otro punmto de partida-. La asunción de lo cual, sin duda, complicará enormemente las cosas a muchos niveles y obligará a readaptar de modo mucho más profundo que lo realizado hasta la fecha nuestro Derecho público, pero generará efectos muy positivos a la hora de redefinir correctamente ciertas garantías jurídicas ahora puestas en cuestión por la imparable conversión tecnológica de nuestras Administraciones públicas y las capacidades que la misma le confiere.
– – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – –
Para quien quiera profundizar más en este tema desde una perspectiva completamente académica y dogmática, podéis consultar este artículo que he publicado recientemente en la Revista de Derecho Público. Teoría y Método:
A. Boix Palop (2020): Los algoritmos son reglamentos: La necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones, en Revista de Derecho Público. Teoría y Método, nº 1, 2020, pp. 223-269.
Además, tenéis también a vuestra disposición una versión conferencia de estas ideas, desarrollada en el Seminari de la Facultat de Dret de València:
No se trata de hacer leer | RSS 2.0 | Atom | Gestionado con WordPress | Generado en 0,525 segundos
En La Red desde septiembre de 2006