La inteligencia artificial (y sus posibles riesgos) también ha llegado al **transporte ferroviario**. En España, Renfe terminará de implantar en **2026** un sistema de **cámaras de seguridad,** llamado Renfe Smart Security Station (RS3), que**desde****2020** utiliza**inteligencia artificial** para, entre otros fines, detectar delitos en las **estaciones de la red de Cercanías**. El proyecto, incluido en un plan de digitalización, cuenta con la financiación de fondos europeos. Con más del 70% de las cámaras instaladas y en funcionamiento, Renfe indica que estos sistemas de IA pueden detectar **aglomeraciones** o**incendios** , avisar si alguien **se cuela sin billete** o**cruza las vías** , e identificar **delitos** como **romper el mobiliario, pintar grafitis** , portar **armas** o **amenazar al personal**. También puede alertar cuando un usuario entra por los tornos con un **billete****con descuento que no le corresponde por su edad**. Para esto último, el sistema de IA inferirá la **edad** de la persona. La empresa dice a _Maldita.es_ __ que para hacerlo **no utiliza datos biométricos** y que la información generada es para **uso interno**. En cualquier caso, los expertos consultados por _Maldita.es_ __ señalan que el sistema **podría reflejar sesgos** , ya que se desconoce su funcionamiento al 100%, sus pliegues técnicos son confidenciales y no se sabe cómo se han entrenado los sistemas. En**2021** se retiróuna**mención explícita** sobre el **uso de datos biométricos** en uno de los contratos públicos del proyecto. ¿Quieres recibir la actualidad tecnológica directamente en tu email? **Suscríbete aquí a la _newsletter_ de Maldita Tecnología 'Tech en un clic'** ## Las cámaras con IA de Renfe, que se comenzaron a instalar en 2020 y culminarán en 2026, detectan delitos y situaciones peligrosas de forma automática a través de alertas La función de estas cámaras de seguridad con IA, que se llevan instalando en Cercanías desde 2020 y están en funcionamiento en al menos 415 estaciones, es **“detectar en tiempo real”** ciertas **situaciones** (en algunos casos con un 98% de eficacia), según Renfe. Entre estas funciones están: * Comprobar cómo de llenas están las estaciones, por si hay aglomeraciones o tumultos. * Identificar objetos abandonados. * Ver cuándo alguien se cuela sin pagar el billete. * Alertar si una persona se cae a las vías o las cruza. * Detectar incendios. * Avisar cuando se producen delitos o actos vandálicos como grafitis, rotura de mobiliario como máquinas de autoventa, robos, agresiones, posesión de armas o amenazas al personal de taquillas. Las imágenes captadas por el sistema de analítica de vídeo con IA “solo se conservan durante el tiempo estrictamente necesario para su procesamiento **que se realiza en cuestión de milisegundos** ”, indica Renfe en su Política de protección de datos de analítica de vídeo. Añaden que “**posteriormente son suprimidas de manera irreversible del sistema** ”. Las imágenes grabadas por los sistemas de vigilancia tradicional sí que se conservan “durante un plazo máximo de un mes desde su captación”. Cuando se generan **alertas a partir del sistema de detección con IA** , las imágenes grabadas con las cámaras tradicionales pasan al **centro de emergencias de Renfe** (CECON) y las revisan profesionales “para identificar si se producen**falsos positivos** ”, indica la empresa a _Maldita.es_. Si esto ocurre, se clasifica como tal para “que el algoritmo de analítica de vídeo aprenda”, y entonces en ese caso “se descartaría la alerta por medio de intervención humana”. Renfe también dice que cuando se comete un **delito** y lo recogen estas **cámaras con IA** , “el Departamento de Seguridad de Renfe pone los hechos en conocimiento” de la policía, facilitándoles “dichas imágenes” a las fuerzas y cuerpos de seguridad. Ángel Delgado, experto en IA y maldito, señala a _Maldita.es_ que es probable que el sistema tenga **“muchos falsos positivos"**. Por ejemplo, “es muy probable que detecte que dos niños jugando sea una alerta de pelea o que alguien con disfraz el día de carnaval sea alerta de tenencia de armas", detalla. ## Renfe asegura a _Maldita.es_ que no usa datos biométricos, por ejemplo para detectar si alguien utiliza un billete que no le corresponde por edad Según Renfe, estas cámaras con sistemas de analítica de IA, en combinación con los controles de acceso, pueden ayudar a identificar cuándo alguien trata de **usar un billete** que **no encaja en su edad**. Hay que recordar que la edad es un **dato biométrico** cuyo uso en sistemas de inteligencia artificial está prohibido en la Ley Europea de Inteligencia Artificial o AI Act. En la web, Renfe indica que los sistemas de analítica de vídeo **en ningún caso se utilizan para analizar y segmentar a las personas** en función de criterios como la **edad**. Miguel Azores, experto en inteligencia artificial y maldito, precisa a _Maldita.es_ __ que, _a priori_ , el uso del sistema predictivo de alertas para **detectar** quién viaja con el **billete correcto** según su **edad** va en contra de lo que Renfe indica en su web, y explica que probablemente estén utilizando **sistemas de visión artificial “entrenados previamente con un gran banco de personas”**. Foto de una de las imágenes captadas por el nuevo sistema de videovigilancia con inteligencia artificial de Renfe Cercanías indicando el porcentaje de precisión con el que está captando un objeto o elemento. Además de la edad, está el **riesgo de uso de datos biométricos** , algo que también niegan en la web. Renfe asegura a _Maldita.es_ que **“el sistema no recoge datos biométricos” ni “ningún otro dato que tenga que ver con la identidad de la persona, sólo cuestiones adyacentes que ayudan a la función de seguridad (objetos, conteo del número de pasajeros para aforo y similares)”**. También aseguran en su web que el sistema no hace **“reconocimiento facial”** para analizar la edad, el sexo, la salud, religión, orientación sexual, emociones, expresiones o interacciones con objetos de los viajeros, algo también prohibido por la AI Act. Iris Domínguez - que investiga sobre inteligencia artificial, justicia algorítmica y sesgos de IA y nos ha prestado sus superpoderes - puntualiza que las imágenes que captan tienen la **“suficiente resolución como para identificar personalmente a gente”** , pero matiza que entiende que se trabaja con **datos anonimizados** y que en el proceso no se hacen identificaciones faciales (está prohibido). Sobre el **tratamiento de todos estos datos** , Renfe indica que “el servidor procesa las imágenes recibidas ...] y las transforma en alarmas de seguridad y **datos de negocio de interés para Renfe”**. Preguntados por ello, Renfe expone a [_Maldita.es_ __ que **“la finalidad del sistema es la seguridad de los clientes, bienes e instalaciones del Grupo Renfe, exclusivamente”**. [📲 ¡Pincha aquí y sigue el canal de WhatsApp de Maldita.es para que no te la cuelen! ](https://bit.ly/3EGa2ju) ## Uno de los principales riesgos del sistema es que refleje sesgos a la hora de identificar o predecir ciertas situaciones, según los expertos consultados por _Maldita.es_ Según Renfe, este sistema de videovigilancia con IA detecta el riesgo potencial de que ocurra algo y **activa “una respuesta preventiva y anticipada”. Según indican esto se hace** generando “analíticas predictivas sobre estos eventos”. Según los expertos consultados por _Maldita.es_ , Renfe **no especifica qué comportamientos ha categorizado como “sospechosos” a la hora de hacer saltar una alarma** o de identificar situaciones potenciales de **suponer un riesgo** o **ser un delito** y, en esa categorización y diseño del sistema, se pueden colar los **sesgos de los algoritmos de IA**. **“Los algoritmos de inteligencia artificial pueden introducir sesgos en la identificación de incidentes”** , explica a _Maldita.es_ __ Eduard Blasi, maldito que ha prestado sus superpoderes en derecho digital. “**Se ha visto varias veces en el pasado** y, salvo que se haya auditado previamente, el sistema para prevenir estos sesgos es algo que no sería descartable”, concreta. Según Miguel Azores, en la **fase** de **predicción** es donde hay más **“riesgo de sesgos”** , ya que **no se sabe “qué se considera un comportamiento** potencialmente **peligroso o delictivo”**. “Las estaciones de tren son espacios con una gran afluencia de gente diferente”, sostiene Azores. Por eso, “sin duda **es peligroso instalar un sistema predictivo** , pues este detecta aquellos comportamientos que se salen de la norma y, en un espacio público y muy transitado como una estación, lo correcto no es solo lo normal”, explica. Iris Domínguez lo ejemplifica con la identificación hipotética de carteristas o “merodeo” en los tornos. “Es muy posible que un choque entre dos personas pase a parecer un hurto si las personas tienen la piel oscura, y que, en cambio, no sea detectado si son de piel blanca”, sostiene la experta en IA. Hay precedentes de **casos racismo e inteligencia artificial** : por ejemplo, en Estados Unidos se demostró que el sistema de predicción de reincidencia criminal COMPAS reflejaba **sesgos raciales y discriminatorios**. Domínguez detalla que **este tipo de sesgos se pueden mitigar** , algo que exige la ley europea de IA, y que “es bastante complejo demostrar si hay o no discriminación sistemática”. Foto de una de las imágenes captadas por el nuevo sistema de videovigilancia con inteligencia artificial de Renfe Cercanías indicando el porcentaje de precisión con el que está captando un objeto o elemento. ## Renfe indica a _Maldita.es_ que los pliegos técnicos del funcionamiento de estas cámaras “son confidenciales” y en 2021 tuvieron que eliminar una mención sobre uso de datos biométricos, prohibidos en la legislación actual **Las opiniones de los expertos** que hemos recogido en este artículo**se basan en la única información pública** que ha localizado _Maldita.es_ , y eso es parte del problema, porque **Renfe no muestra al 100% cómo funciona el sistema**. Los pliegos técnicos 1, 2] de dos de los tres contratos publicados en el Portal de Contratación Pública, los de 2021 y 2023, son **“confidenciales”**[1, [2] y Renfe indica que únicamente se han proporcionado “en mano” a las empresas que se han presentado al concurso público para prestar este servicio. _Maldita.es_ solicitó a Renfe el acceso a estos documentos e indicaron a través de un email que **“ambos pliegos son confidenciales y solo se puede acceder a la información publicada”**. Captura de pantalla de uno de los pliegos del contrato público 2023-06750, el más reciente de los tres. Tras empezar a instalarse las primeras cámaras de seguridad en 2020, El Confidencial o Xataka indicaron entonces que en las prescripciones técnicas del contrato entre Renfe y la empresa encargada del desarrollo de este software había indicaciones relativas **al uso de datos biométricos**. Esto, como hemos mencionado, **vulneraría la legislación actual****** sobre protección de datos e inteligencia artificial. Uno de los apartados indicaba en concreto que las cámaras podían hacer un **“análisis del viajero”** identificando la **“edad, género, origen étnico, tipo de ropa” o el “estado de ánimo”** sabiendo si está **“feliz, triste” o “cansado”** , entre otros, todo ello con una **“eficacia mínima”** del **85%** , una función con limitaciones. El **documento** se anuló y retiró en febrero de 2021 del Portal de Contratación y las prescripciones técnicas se modificaron sin que aparezca ninguna mención de este análisis. Captura de pantalla del pliego anulado y modificado del contrato. Fuente: Xataka. ## ¿Y qué pasa con los datos que se captan? Cualquiera puede “solicitar acceso” a esta información, pedir que Renfe la elimine o limite su uso, que según la compañía es para su uso interno Millones de personas utilizan cada día el transporte público, y Cercanías tiene **12 redes** en España, dando servicio a **16 provincias**. Por eso, es normal que **cualquier viajero** piense en cómo hacer valer sus derechos como un **ciudadano** al que se le está **grabando** en un **espacio público** y **analizando su comportamiento** y **acciones**. En caso de **tener dudas con el uso que se hace de estos datos** , cualquier persona se puede poner en contacto con el Delegado de Protección de Datos de la empresa escribiendo a la dirección de correo dpd@renfe.es. También se puede **solicitar el****acceso** , la **eliminación** o **limitación** de esta información personal escribiendo a derechos.viajeros@renfe.es. Además, se puede **ver qué estaciones tienen este sistema** de videovigilancia potenciado con inteligencia artificial en un listado de su web. Asimismo, se pueden enviar consultas a la Agencia Española de Protección de Datos (AEPD), el organismo que se encarga de, entre otras funciones, hacer cumplir la ley sobre tratamiento de datos o recibir denuncias. _Maldita.es_ ha preguntado a la AEPD por varios aspectos de este sistema de videovigilancia e indicaron que **no pueden “pronunciarse _a priori_ sobre tratamientos concretos susceptibles de tener que analizarse en el marco de un procedimiento ni de su adecuación a la normativa”**. ## La instalación de estas cámaras ha tenido un coste de 40 millones de euros, casi todos ellos financiados por los fondos europeos Next Generation para digitalizar el Cercanías El sistema de videovigilancia con IA de Renfe se enmarca dentro de las medidas de transformación digital del Plan Estratégico 2019-2023-2028 de la compañía. La instalación tiene un presupuesto de **40.275.398 euros**. De los tres contratos públicos, sólo los dos últimos contratos, que suman **39.567.548,13 euros** de presupuesto, han contado con **financiación** de los **fondos europeos** **Next Generation** , según muestra Renfe en una nota de prensa y en su página web. Esta suma proviene de una inversión europea de **100 millones de euros** anunciada por Renfe en febrero de 2022, para la **“transformación digital de Cercanías”** , donde se ha incluido este proyecto. La Unión Europea incluye la**transformación digital** como una de sus prioridades de financiación a través de varios fondos, entre los que están los Next Generation y los de cohesión. Con este dinero también se han renovado las máquinas expendedoras de billetes y cambiado los controles de acceso. Las opiniones y puntos de vista expresados solo comprometen a su(s) autor(es) y no reflejan necesariamente los de la Unión Europea. Ni la Unión Europea ni la autoridad otorgante pueden ser considerados responsables de ellos. _En este artículo han colaborado con sus superpoderes los malditos Iris Domínguez, Eduard Blasi, Miguel Azores, Julián Estévez y Ángel Delgado, expertos en inteligencia artificial._ _Gracias a vuestros superpoderes, conocimientos y experiencia podemos luchar más y mejor contra la mentira. La comunidad de_ _Maldita.es_ _sois imprescindibles para parar la desinformación. Ayúdanos en esta batalla:__mándanos los bulos que te lleguen a nuestro servicio de Whatsapp_ _,__préstanos tus superpoderes_ _, difunde nuestros desmentidos y_ _hazte Embajador_ _._ **Julián Estévez, profesor e investigador en inteligencia artificial y robótica en la Universidad del País Vasco** : “Según la web de RENFE, su sistema no guarda ni emplea datos biométricos. Sin embargo, esa información es muy difícil de comprobar para el pasajero corriente, y nos tenemos que fiar de lo que dice la empresa. No está claro cómo han definido un comportamiento sospechoso, ni está claro si en el futuro esta base de datos se cruzará con las bases de datos de la Policía, por ejemplo. Aunque los datos estén anonimizados, algunos estudios demuestran que es posible reidentificar a personas mediante sus movimientos y horarios. No está claro qué comportamientos se han establecido como sospechosos, o si han decidido que algo como el color de piel sea algo que también genere alarmas”. **Iris Domínguez, que investiga sobre inteligencia artificial, justicia algorítmica y sesgos de IA** : “El uso de estos sistemas para algo menor como evitar que alguien se cuele en el Cercanías no debería ser normalizado. Si la ley europea es tan clara en cuanto a no permitir la videovigilancia masiva es por algo, y es que estos sistemas pueden evolucionar rápidamente hacia usos más invasivos. El hecho de que Renfe ya esté considerando usar el sistema para verificar edades y tarifas es preocupante, y demuestra hasta qué punto las empresas van a jugar en los límites de la ley para maximizar sus beneficios”. **Eduard Blasi, abogado experto en derecho digital, cofundador de****TechandLaw** : “Antes de la puesta en marcha de estos sistemas debería realizarse una evaluación de impacto para analizar los riesgos y verificar que si bien no existe la intención de tratar datos biométricos, se confirma en la práctica que existen medidas suficientes que eviten el tratamiento de los mismos y que garanticen la mínima intrusión hacia los viajeros. La evaluación de impacto sería el documento adecuado para analizar el grado de intrusión real y las diferencias con el sistema de CCTV tradicional. Hay sistemas de CCTV que aún sin contemplar IA pueden llegar a ser más intrusivos. Por ejemplo, el que se contempló en Cataluña donde se habilitó la grabación de voz en algunos puntos”. **Ángel Delgado, ingeniero experto en IA y fundador de****CONVOTIS Iberia** : “Creo que no es algo alarmante, de hecho, a mí personalmente me preocupa más saber dónde se guardan las grabaciones y quién tiene acceso que el uso de este tipo de IA sobre el vídeo. Ahora bien, sí que creo que es muy importante que la gente empiece a entender los tipos de IA que hay”. **Miguel Azores, ingeniero de robótica de software, algoritmos, y herramientas de inteligencia artificial** : “¿Qué se considera un comportamiento potencialmente peligroso o delictivo? No son pocos los casos en los que esos comportamientos se han asociado a personas racializadas. También es complejo definir qué es un comportamiento anómalo. Hay sistemas de visión artificial capaces de identificar la edad de una persona sin utilizar datos biométricos. Lo hacen mediante la altura y las proporciones corporales, la textura de la piel, el análisis de la movilidad, etc. También hay sistemas con la capacidad de reconocer la edad de una persona mediante _machine learning_ [...] entrenados previamente con un gran banco de imágenes de personas etiquetadas por edad”.