LegalToday

Por y para profesionales del Derecho

Portal jurídico de Aranzadi, por y para profesionales del Derecho

19/03/2024. 03:01:42

LegalToday

Por y para profesionales del Derecho

Blog ECIJA 2.0

Cuando al robot no le gusta tu barrio. Cuestiones de big data

Abogada de ECIJA

Actualmente nos encontramos en la era de los datos masivos y de la analítica big data. El big data se basa en la idea principal de que analizando cantidades masivas de datos podamos comprender cosas antes desconocidas, y descubrir patrones de datos que se encontraban ocultos en la información. En este contexto, pocos dudan hoy de los grandes beneficios que puede aportar a la sociedad, pero sin embargo, también debe hacer frente a determinados desafíos.

Big Data

En anteriores ocasiones ya he hecho mención a algunos de los retos del big data, y hoy quiero centrarme en el riesgo que puede tener para las personas la toma de decisiones automatizadas sin intervención humana. Por ejemplo, en el sector bancario numerosas empresas utilizan desde hace años la analítica de datos, pues permite conocer a los prestatarios mejor que nunca y predecir si devolverán sus préstamos de forma más certera que si únicamente se estudia su historial crediticio. Este sistema depende de algoritmos que analizan datos de forma compleja y automatizada.

Esta realidad ha dado lugar al surgimiento de un nuevo derecho plasmado en la nueva norma europea de protección de datos, el Reglamento General de Protección de Datos (RGPD). Concretamente, el artículo 22 establece que:

    "Todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar (…)".

Ciertamente, la evolución de la ciencia de datos nos hace cuestionarnos cuándo hace falta la intervención de una persona que supervise las conclusiones obtenidas de forma automatizada antes de que se transformen en decisiones que afecten a las personas. Si bien es cierto que la  inclusión de este derecho parece de todo acertada en el contexto actual, su funcionamiento puede verse sometido a ciertas dificultades.

En primer lugar, la redacción de artículo contiene términos ambiguos que pueden crear problemas en su aplicación práctica. Por ejemplo ¿qué papel debe tener un humano para que se considere que la decisión no es únicamente automatizada? (Ira S. Rubinstein. Big data: The End Of Privacy Or A New Beginning? Inernational Privacy Law, Vol. 3, No. 2 (2013).

¿A partir de qué grado se considera que una decisión ha afectado significativamente a un individuo?

Steve Lohr afirma que, de hecho, la toma de decisiones automatizadas está ideada para eliminar a los humanos de la ecuación, "pero el impulso de querer que una persona supervise los resultados que vomita el ordenador es muy humano"[1] (Steve Lohr. If Algorithms Know All, How Much Should Humans Help?. The New York Times News Services (6 abril 2015). Por su parte, otra corriente de opinión sostiene que mantener el sesgo humano en la toma de decisiones es contraproducente.

En segundo lugar, el mencionado artículo 22 RGPD se refiere expresamente a las decisiones automatizadas consistentes en la creación de perfiles. A pesar de que la norma contiene una definición de lo que se entiende por elaboración de perfiles, quizás resulte más ilustrativa la definición de la Agencia Europea de los Derechos Fundamentales:

    "La elaboración de perfiles consiste en categorizar a individuos en función de sus características (tales como género, edad, hábitos y comportamientos). Los individuos son frecuentemente divididos en perfiles por las compañías aseguradoras para calcular su riesgo y sus precios (así por ejemplo, un fumador tendrá un riesgo más alto de tener problemas de salud que un no fumador), así como por empresas de marketing para determinar qué productos ofrecer a cada persona" Agencia Europea de los Derechos Fundamentales. Understanding and preventing discriminatory ethnic profiling (2012).

La categorización puede ser una herramienta muy útil, pero también entraña riesgos de cometer errores al conectar a una persona con determinadas características o comportamientos que no le representan. Por su parte, también hay riesgo de que los perfiles basados en características como raza, etnia o religión creen estereotipos poco precisos que causen discriminación.

Por último, este derecho a no ser objeto de decisiones automatizadas solamente puede ejercitarse cuando las personas son conscientes de que las decisiones que les afectan se toman únicamente de manera automatizada. Sin embargo, los procesos analíticos de big data muchas veces ocurren sin conocimiento de los sujetos o de modo poco transparente. De este modo, el problema vendría del hecho de que los individuos en muchas ocasiones no son conscientes de que se están tomando decisiones que les afectan con base en esos procesos automatizados. Por ello, este derecho podría quedar en la práctica en papel mojado. Así por ejemplo, recuperando nuestro ejemplo anterior, ¿cómo puede saber una persona si la decisión de denegarle un préstamo ha estado afectada por el hecho de que un algoritmo haya concedido una gran importancia al hecho de que su domicilio se corresponde con un código postal en el que hay un mayor riesgo de impago?

En cualquier caso, deberemos esperar a la completa aplicación del RGPD a partir de mayo de 2018 para comenzar a ver cómo se aplica este nuevo derecho en la práctica.

[1]

"Gracias al big data, las máquinas pueden ser programadas para hacer la siguiente acción correctamente, pero solo los humanos pueden hacer la siguiente correcta acción".


               

Valora este contenido.

Puntuación:

Sé el primero en puntuar este contenido.