nº 991 - 29 de diciembre de 2022
El uso de algoritmos en soluciones Legaltech y el riesgo de sesgos o resultados discriminatorios
Fernando J. Biurrun. Consultor Social Media. Fundador Lawandtrends.com
Las herramientas automatizadas están lejos de ser neutrales, y no son necesariamente menos discriminatorias
Si los datos con los que se entrena la inteligencia artificial están sesgados, los resultados también lo estarán
Son muchas las soluciones Legatech que utiliza la Inteligencia Artificial como base del desarrollo de sus aplicaciones. Tras ella, existen una numero de algoritmos que son el fundamento de su aprendizaje, unido a los datos e informaciones de que se alimentan.
Recientemente, la UE ha presentado un informe titulado Sesgos en los algoritmos. Inteligencia artificial y discriminación, en el que, partiendo de simulaciones informáticas con datos reales, llega a demostrar que el uso de algoritmos para tomar decisiones puede vulnerar derechos humanos.
El informe publicado por la Agencia de los Derechos Fundamentales (FRA) de la UE señala que «ahora sabemos que las herramientas automatizadas están lejos de ser neutrales, y no son necesariamente menos discriminatorias. Este informe demuestra que el sesgo forma parte del desarrollo de algoritmos».
El informe abunda en una investigación realizada sobre investigación de delitos, en la presencia de sesgos y prejuicios en los algoritmos utilizados, para supuestos como pueden ser la prevención de mensajes de odio en las redes sociales, pueden terminar siendo discriminatorios si se deja usar estas herramientas sin un control y un proceso de corrección humana.
El director de la FRA, Michael O’Flaherty en el preámbulo del informe destaca cómo las simulaciones realizadas por la Agencia «resaltan la facilidad con la que los algoritmos pueden sesgarse o desarrollar sesgos en el tiempo. Y esto puede conducir a la discriminación». Y pone el énfasis en cómo no hay que dejar de invertir en Inteligencia Artificial, sino que, además, destaca en papel que los humanos debemos desempeñar en el seguimiento, análisis y aprendizaje de esta tecnología. «Ya es hora de disipar el mito de que los derechos humanos nos impiden avanzar. Más derechos humanos significan tecnología más confiable», concluye O’Flaherty.
Estos sesgos ya se planteaban en la herramienta basada en inteligencia artificial que utilizaba el Gobierno americano para la concesión de asilo. En este caso el algoritmo podría predecir que algunas personas de ciertas nacionalidades tienen más probabilidades de cometer crímenes, marcando a personas que realmente merecen el asilo como rechazadas. Es en estos casos donde se ve la importancia de una supervisión humana de los resultados.
Asimismo, en un estudio que se realizó a posteri, se vio como la herramienta había utilizado variables ajenas a la solicitud de asilo como podrían ser media de solicitudes concedidas por un juez, la media de solicitudes concedidas por nacionalidad, seguido de variables relacionadas con el caso, como el abogado, la nacionalidad, el número de miembros en la familia, y variables relacionadas con el juez, como la universidad donde estudió, los años de experiencia o si fue militar en el pasado.
Estas distorsiones, pueden provenir del propio algoritmo, pero también del sesgo que pueden aportar los propios datos. Así, en opinión de Àtia Cortés, investigadora del Barcelona Supercomputing Center-Centro Nacional de Supercomputación, «si los datos con los que se entrena la inteligencia artificial están sesgados, los resultados también lo estarán». Si el histórico de datos que se utilizan para entrenar a la inteligencia artificial es fundamental para evitar un resultado negativo. En el mundo laboral puede afectar a algoritmos que se aplican a la contratación o, incluso, como se conoció recientemente, al despido de trabajadores.
En una entrevista concedida a la AgenciaSINC, Cortés señala «una aplicación que comenzó a desarrollar Amazon para ayudar a Recursos Humanos a reclutar a nuevas personas. Enseguida se dieron cuenta de que este sistema automáticamente estaba descartando a mujeres y, cómo siempre, los datos de entrenamiento estaban detrás. Se habían tomado los del histórico de los últimos 10 años de los empleados en una empresa tecnológica como esta, donde aparecen desequilibrios de representación entre hombres y mujeres, sobre todo según subes hacia los puestos de dirección. El algoritmo es lo que aprendió, de tal forma que acabó penalizando cualquier currículum que viniera de una mujer, aunque no se especificara el sexo. Lo podía deducir de sus actividades o la información disponible, y al final las descartaba en el proceso de selección.
Sesgos que pueden implicar responsabilidad hoy esperan sentencia del TS de Estados Unidos para saber si el algoritmo de recomendación automáticos que YouTube utiliza fueron un vehículo necesario para la radicalización de terroristas que posteriormente se unieron a la yihad y atentaron en la sala Bataclan de París.
En conclusión, los sesgos pueden venir de los datos que informan a la inteligencia artificial y de la definición del propio algoritmo. La intervención humana en su análisis y seguimiento resulta fundamental para detectar sesgos que pueden afectar a cuestiones raciales, ideológicas, sexo, nacionalidad, clases sociales… y corregirlos o rectificar. La industria Legaltech, más que otras, debe tener todo esto presente en sus aplicaciones. ■