¿Por qué es necesario auditar los algoritmos?Porque los sistemas de decisión automática toman decisiones sobre nuestras vidas y tenemos que asegurarnos de que estas sean justas y pertinentes. Un sistema técnico es muy vulnerable a sesgos existentes en la sociedad, sesgos de sus desarrolladores, y no solo puede capturarlos, sino también reproducirlos y agudizarlos. Es muy importante tener mecanismos de precaución ante los posibles impactos negativos de la tecnología, para asegurar que nos aporte cosas positivas y justas y minimizar la posibilidad de hacer daño.

¿Qué legislación hay al respecto y cómo se cumple?En Europa, desde 2016 tenemos el Reglamento General de Protección de Datos, que ya aborda las decisiones automatizadas y la creación de perfiles online, pero desgraciadamente está costando mucho que se cumpla. Dado el gran nivel de incumplimiento, Europa ha decidido sacar un paquete de regulación digital con seis nuevas leyes que refuerzan la legislación existente, porque una cosa es regular y otra, que se cumpla. En España, desde 2015, el Régimen Jurídico de la Función Pública establece que cualquier decisión automatizada a la que se somete a los ciudadanos será auditada, y en España no se ha auditado ningún algoritmo a pesar de que tenemos sistemas automatizados asignando riesgo a mujeres maltratadas, o sea, algo tan sensible como qué tipo de protección recibes cuando eres maltratada, o quién recibe el bono social eléctrico también lo decide un algoritmo. Y hace poco que sabemos que, según una investigación, el Instituto Nacional de la Seguridad Social (INSS) utiliza algoritmos para identificar posibles perceptores de apoyo social que estén cometiendo fraude. Tenemos una situación en la que ni los Estados cumplen su propia legislación.

¿Por qué cree que es necesario crear un registro público de algoritmos?Es el primer paso de la defensa de derechos. Si no sabemos que esos sistemas existen, no sabemos cómo protegernos. La transparencia es el primer paso de la garantía de derechos. Del algoritmo del INSS tenemos conocimiento desde hace poco y gracias a una investigación periodística que decidió fijarse en eso después de que el gobierno holandés cayera por un escándalo vinculado al uso de algoritmos en seguridad social. El problema es grave y compartido con muchos países europeos, pero no se está haciendo prácticamente nada y esa primera barrera es la transparencia.

¿Qué discriminaciones han revelado las investigaciones de algoritmos realizadas hasta la fecha?En el caso del INSS de España no se ha hecho una auditoría, se sabe que existe y que puede tener problemas porque sabemos que los sistemas de identificación de fraude en otros países han tenido muchos problemas. El caso más importante ha sido el del gobierno holandés, donde se vio que el sistema discriminaba de forma sistemática a los perceptores de subsidios extranjeros y de rentas bajas. Otro sistema para identificar fraude entre sus trabajadores fue utilizado por el sistema postal británico, que llevó al despido a varios de ellos y cuando llegó a la justicia, el tribunal y la auditoría detectaron que tenía cero fiabilidad, por lo que las personas habían sido despedidas sin ninguna base real de que existiera un fraude. Es decir, sabemos que esos sistemas funcionan mal y lo mínimo que tendría que hacer la administración es asegurarse de que incorpora buena tecnología, pero ahora mismo no tenemos ninguna certitud en ese aspecto.

Esos algoritmos los ha diseñado personas humanasSí, pero no solo. Nosotros hemos identificado 22 momentos de sesgo en la vida de un algoritmo. No es solo la intervención humana, es también el papel de los datos, el modelo algorítmico que elegimos... los momentos en los que las cosas pueden ir mal son múltiples. Volviendo al ejemplo de las vacunas: cuando una vacuna funciona mal no tiene por qué ser uno de los principios activos, puede ser una combinación de estos, la forma de administración... Hay muchas cosas que pueden hacer que una buena idea acabe funcionando mal.

Por los resultados de vuestro trabajo, ¿cómo y a quién discriminan los algoritmos?Discriminan a todos los grupos no mayoritarios. El funcionamiento básico de un algoritmo es como el del GPS, para ir de A a B te propone rutas tras coger datos del pasado y buscar el patrón más utilizado, porque entiende que lo óptimo es lo que hace la mayoría de la gente, e introducir normas para identificar patrones de la última media hora y así evitar atascos. Esta combinación de datos de entrada y normas, que funciona muy bien en GPS, cuando lo utilizamos por ejemplo para decidir quién recibe una hipoteca en un banco, ahí tenemos datos de entrada que nos dicen quién recibe una hipoteca en el pasado, y el sistema identifica el patrón mayoritario y busca reproducirlo. Y le dice al banco: 'lo mejor es que sigas dando hipotecas a esta gente porque en el pasado has tomado estas decisiones y entendemos que es la decisión óptima'. ¿Qué ocurre? En el pasado, los bancos han dado más hipotecas a hombres de mediana edad y con trabajo estable que a las mujeres. Con lo cual, si el algoritmo solo tiene en cuanta esos patrones mayoritarios del pasado, lo que hará es solo recomendarnos que demos hipotecas a esos perfiles. Y quien no es patrón mayoritario, como las mujeres o las personas sin trabajo estable, es sistemáticamente discriminado por el algoritmo, hasta el punto de echarlos de la muestra. Lo que hemos visto es que todos los algoritmos tienen sesgos y muy diferentes. En EE UU, el sesgo racial es muy evidente; en Europa, no tanto. Nos podemos encontrar discriminación de personas altas o bajas, de franjas de edad, por posición geográfica. 

¿Qué visteis en la reciente auditoría a Uber, Cabify y Volt?Cosas muy preocupantes. En primer lugar, que había una posibilidad de vulneración algorítmica de la competencia porque -no tanto en Uber- los precios suben y bajan en el mismo momento, lo cual es ilegal sin la intervención de algoritmos. ¿Qué hacemos cuando se vincula a algoritmos y no podemos demostrar que hay un mail donde se han puesto de acuerdo? Hay un melón brutal en términos de impacto de los algoritmos en el mundo de la competencia. Encontramos también ineficiencias a nivel laboral: vimos que las personas no tienen derecho a ponerse en enfermas, el algoritmo les penaliza siempre, aunque manden un parte de baja, pues no entiende que no estás trabajando porque no puedes y te pone por debajo en la lista de conductores que sí han estado aceptando carreras. También vimos falta de transparencia en el pago de propinas, lo cual ya se reguló en EE UU. Cuando das una propina en esos servicios, los trabajadores tienen derecho a la cantidad íntegra porque es un reconocimiento a ellos y, en cambio, no tienen ninguna visibilidad de qué es propina y qué no, por lo que acaban formando parte de los beneficios de la empresa. También vimos discriminaciones geográficas: como los precios dinámicos se articulan con base a la oferta y la demanda, estos tienden a bajar en las zonas donde hay más oferta (si hay muchos coches disponibles, los precios bajan). Como hay menos demanda histórica en los barrios más pobres, donde sus habitantes suelen utilizar más el transporte público colectivo, que es más barato, al final se sube el precio porque van menos conductores a esas zonas. Esto rompe el principio de equidad del taxi tradicional, en el que siempre se paga lo mismo vengas de donde vengas. Los VTC solo quieren organizar la oferta y la demanda pero, de forma secundaria, imponen un premium de coste precisamente a los grupos que menos se lo pueden permitir.

¿Qué riesgo tiene informarse solo a través de las redes sociales?En un periódico hay un proceso de decisión humana detrás para determinar a qué noticias se les da más importancia (colocándolas en la portada) y eso puede responder a criterios periodísticos, a veces a intereses económicos... En las redes sociales también intervienen diferentes dinámicas pero la dinámica superior es la del beneficio y ganan dinero cuanto más tiempo pasas en una plataforma porque cuanto más tiempo pases, más anuncios vas a ver. El servicio de las redes sociales lo pagas cada vez que ves un anuncio, porque el anunciante se queda con tus datos. Lo que hacen los algoritmos es aprender qué hace que la gente esté más tiempo en las redes y hemos visto que el contenido radical nos lleva a quedarnos más tiempo. Un contenido que está muy de acuerdo con lo que decimos igual nos aburre pronto, pero algo violento o muy extremo, como algo racista, nos hace quedarnos, a veces porque nos repugna, pero nos quedamos. El algoritmo no sabe si nos quedamos porque nos gusta o porque nos repugna, pero que nos quedemos es lo que quiere, con lo cual, a través de una lógica empresarial, acaba reproduciendo contenido radical. Si esa es nuestra única fuente de información, al final estaremos convencidos de que todo el mundo ve contenido extremo y, a veces, dañino. Y lo normalizamos.

Póngame un ejemplo de comportamiento dañino.Una adolescente con problemas con su imagen corporal que empieza a pensar en comer menos y a buscar información sobre dietas. El algoritmo ve que le interesa este tema y le va dando cada vez más contenido vinculado a dietas y contenido extremo, le lleva a abrir espacios de redes sociales de personas con anorexia o problemas alimenticios serios. El algoritmo hace ese proceso de radicalización. Solo estaba buscando información de dietas, pero acaba viendo a gente que normaliza no comer nada en todo el día. Eso es algorítmico, no hay un CEO que diga 'quiero que las niñas acaben siendo anoréxicas', pero no toman ninguna responsabilidad de sus decisiones de negocios, que acaban impactando y reproduciendo problemas.

¿Cómo el algoritmo influye en nuestro voto?Lo bueno es que no está demostrado que los algoritmos influyan en nuestro voto electoral, el que metemos en la urna. Es un proceso físico y que no hacemos muy a menudo. El proceso de formación de opiniones políticas es más complejo que lo que vemos en redes sociales. Por suerte, las personas no estamos en el Metaverso y nos seguimos relacionando con otras personas, las contribuciones son más diversas. Los académicos que estudian la formación de opiniones políticas nos dicen que las redes sociales por sí solas no determinan tu voto, pero sí pueden acostumbrar a normalizar ciertas dinámicas y hacer entrar en burbujas de opinión donde te crees que todo el mundo piensa igual que tú y, si todo el mundo es racista, te parece normal ser racista. Por suerte, igual luego en el trabajo sueltas alguna barbaridad y alguien te dice '¿pero qué estás diciendo?' Las opiniones de sobremesa igual sí se ven influidas por el algoritmo, pero el votar, como es algo tan espaciado en el tiempo y a lo que damos importancia, no tiene una relación directa con la exposición a las redes sociales. Culpamos al algoritmo de las dinámicas sociales que no nos gustan, tenemos que entender que la gente vota a Donald Trump porque le gusta y no porque hayan sido manipulados por las redes sociales, que seguro que juegan un papel, pero hay una dinámica de polarización social, de menor empatía hacia los demás, que llevan a tomar posiciones muy extremas en lo político también. Ahí el algoritmo puede reforzar, pero aún no es determinante.

Y entre convivientes, ¿qué influye más: utilizar el mismo ordenador o la convivencia? Es una combinación de las dos cosas. No olvidemos que un algoritmo lo que hace es tomar decisiones por nosotros. Por ejemplo, después de ver una película en Netflix, te dice lo que cree que quieres ver. Si queremos mantener la experiencia individual de 'yo decido', tenemos que tener una sana combinación entre los espacios preparados para nosotros y los espacios de serendipia, azarosos, y ahí el espacio público es el mejor. Nuestra capacidad de ser sociedad sanas en todos los sentidos dependerá de la capacidad de mantener los espacios de sorpresa, de encuentro con el otro, y no depender de espacios en los que todo está planificado en base a un perfil. E insisto: las redes sociales no buscan manipularnos, sino que nos quedemos para ganar dinero, la manipulación es una consecuencia de una dinámica de negocio.

¿Qué dicen los algoritmos de nuestra sociedad?Si viniera un arqueólogo dentro de 500 años, se encontraría una tecnología que habla de una sociedad muy desigual. Vivimos en un mundo en el que la tecnología tiende a reforzar el poder de los poderosos, a todos los niveles: de crear opinión, de producir, de controlar... En el mundo laboral, toda la tecnología es para supervisar mejor y para que trabajes más, no hay tecnologías para defender tus derechos laborales o para que puedas ir al juez cuando tengas una queja con tu empresa. Seguramente si seguimos confiando ciegamente en la tecnología, esa tecnología nos llevará a ahondar en esas desigualdades y no a construir sociedades más justas y democráticas.

¿Cómo podemos proteger a la ciudadanía de los impactos negativos de la tecnología?Sometiendo a la industria tecnológica a los mismos controles que sometemos absolutamente a todas las industrias. Para poder vender la silla en la que estás sentada, antes la empresa ha tenido que demostrar que los materiales se han importado correctamente, que cumple la legislación y eso que el daño que puedes sufrir no es brutal, solo que te caigas. En tecnología no tenemos eso. Ahora mismo, no puedes vender la silla que tú quieras y sí puedes vender la tecnología que tú quieras. Eso es terriblemente anómalo. Hay que crear un ecosistema de regulación y una industria responsable que cree tecnología que cumpla la ley y proteja a las personas. La buena noticia es que históricamente la sociedad ha aprendido a protegerse de los impactos negativos de la innovación, tenemos que aplicarlo al sector tecnológico y dejar de creer ese mantra terrible de que regular limita la innovación. Es al revés: un coche con cinturón de seguridad es un coche mejor.