La opacidad algorítmica, el ya clásico efecto “caja negra”, es hoy el cuello de botella de la tutela judicial frente a decisiones automatizadas. Sabemos qué entra (datos) y qué sale (decisión), pero no podemos reconstruir de manera comprensible por qué se ha producido exactamente esa decisión. En el mundo analógico, discutir una denegación de crédito, un despido o un filtro de selección era (relativamente) lineal: documentos, criterios, testigos, motivación. En cambio, cuando la decisión pasa por un modelo que aprende, pondera y generaliza, la pregunta decisiva (“¿por qué a mí?”) puede quedarse sin respuesta operativa. Y si no se puede explicar el “porqué”, demostrar el nexo causal entre el sistema y el perjuicio se convierte, para la víctima, en una carrera cuesta arriba.
El problema no es solo técnico, es jurídico-procesal. Nuestra responsabilidad civil, ya sea contractual o extracontractual, se apoya en un trípode clásico: daño, conducta (por culpa, por defecto o por incumplimiento) y causalidad. La IA tensiona especialmente el tercer elemento, por eso lo he puesto en negrita. Entre la entrada (datos) y la salida (decisión), se interponen capas de inferencia, correlaciones no intuitivas, parámetros no interpretables y, a menudo, una cadena de suministro (proveedor del modelo, integrador, “deployer”, tercero que aporta datos) que difumina quién controla qué. A esa complejidad se suma un incentivo evidente: el operador guarda silencio amparándose en el secreto empresarial o en la “complejidad” del sistema.
En este punto, el Derecho tiene dos opciones: resignarse o compensar. Y está eligiendo compensar, con una idea matriz: si la explicabilidad no es posible (o no se entrega), entonces la carga de la prueba no puede recaer íntegramente sobre quien sufre el daño. Por eso vemos, cada vez más, técnicas de “apertura” de la caja negra: deberes de documentación, registros trazables y, en litigio, mecanismos de exhibición de prueba y presunciones que rebajan el listón probatorio del perjudicado.
El primer vector viene del RGPD, que, si bien no resuelve toda la causalidad, sí crea palancas de acceso a información. La jurisprudencia del TJUE ha reforzado que, en escenarios de decisiones automatizadas, el interesado puede exigir información “significativa” sobre la lógica aplicada y que esa explicación debe ser comprensible, no una fórmula críptica ni una descripción interminable del algoritmo. En otras palabras: la complejidad técnica no exime del deber de explicar con relevancia jurídica lo que se hizo con los datos y por qué condujo a un resultado.
El segundo vector es regulatorio y preventivo: el Reglamento de Inteligencia Artificial (RIA) ha normalizado que, al menos en IA de alto riesgo, la trazabilidad no es opcional. Entre sus obligaciones destacan el logging para asegurar trazabilidad, la documentación técnica para que autoridades evalúen el cumplimiento y medidas de supervisión humana. Estamos ante un cambio cultural, en el que se exige construir sistemas que sean “auditables”, no solo “precisos”.
Pero donde la caja negra golpea más fuerte es en el pleito de daños. Y aquí entra el tercer vector: la nueva Directiva (UE) 2024/2853 de responsabilidad por productos defectuosos, que moderniza el régimen para un mercado donde el “producto” puede ser software y donde el daño puede provenir de funciones digitales. La Directiva reconoce, expresamente, que la complejidad técnico-científica exige facilitar el acceso a evidencia, incluyendo evidencia digital, y permite a los tribunales exigir que se entregue de forma fácilmente accesible y comprensible.
Un ejemplo especialmente ilustrativo es el de una empresa que decide implantar sistemas de inteligencia artificial en su departamento de recursos humanos, apoyándose en herramientas de uso general como, por poner un ejemplo, Copilot, integradas en su entorno corporativo, para diversos fines: cribado de currículums, análisis de desempeño, detección de patrones de bajo rendimiento o apoyo a decisiones organizativas.
El sistema se utiliza para resumir evaluaciones, identificar “tendencias” en la productividad, comparar perfiles o generar recomendaciones a partir de datos internos (objetivos, evaluaciones previas, incidencias, comunicaciones laborales). Formalmente, la decisión final sigue siendo humana, pero en la práctica se apoya de forma decisiva en los outputs generados por la herramienta.
Un trabajador ve deteriorada su evaluación, queda fuera de un proceso de promoción o es despedido tras una decisión basada en ese análisis asistido por IA. La empresa sostiene que no existe una decisión automatizada en sentido estricto, sino un apoyo objetivo a la toma de decisiones. Sin embargo, no se facilita una explicación clara de qué datos concretos se han tenido en cuenta, qué peso han tenido, cómo se han interpretado ni si el sistema ha introducido inferencias, generalizaciones o correlaciones ajenas al caso individual.
Sin acceso a los registros de uso, a la trazabilidad de los datos empleados, a la lógica aplicada en las recomendaciones generadas o a la documentación técnica relevante, el trabajador no puede demostrar si el perjuicio sufrido deriva de su conducta, de datos incompletos o erróneos, de sesgos en el tratamiento de la información o de un uso inadecuado de la herramienta. Aquí la caja negra no solo decide, sino que impide probar la causalidad entre el sistema de IA (aunque sea presentado como “asistente”) y el daño alegado. Y cuando quien introduce la tecnología controla también la información necesaria para impugnar sus efectos, el desequilibrio probatorio es evidente.
La pieza clave está en dos instrumentos procesales-materiales que atacan directamente la opacidad. Primero, la divulgación y exhibición de evidencia: si el demandante aporta hechos y prueba suficientes para hacer plausible su reclamación, el demandado puede verse obligado a revelar evidencia relevante que esté bajo su control (y también a la inversa, con límites de proporcionalidad y protección de confidencialidad). Segundo, la Directiva incorpora presunciones: puede presumirse la defectuosidad si el demandado no revela la evidencia ordenada, si se acredita incumplimiento de requisitos de seguridad aplicables, o si el daño proviene de un mal funcionamiento evidente; y puede presumirse la causalidad cuando el daño es típicamente consistente con el defecto. Es, en términos prácticos, una respuesta legislativa al “no puedo demostrar lo que no puedo ver”.
¿Qué significa esto para la práctica jurídica (y para el compliance)? Que la caja negra deja de ser un argumento defensivo y pasa a ser un riesgo. Si una organización despliega IA sin registros, sin dossier técnico, sin trazabilidad de datos, sin controles de cambio del modelo y sin gobernanza de terceros, no solo aumenta la probabilidad de daño: aumenta la probabilidad de que, en juicio, opere una presunción en su contra o se ordene una exhibición extensa. El estándar emergente es claro: quien introduce complejidad en el mercado debe asumir el deber de hacerla auditable.
El Derecho no necesita entender matemáticamente la IA para corregir sus efectos: le basta con reordenar la prueba. Frente a la opacidad, responde exigiendo trazabilidad previa y facilitando después la exhibición y las presunciones. La justicia no depende de abrir la caja negra, depende de impedir que se use como si fuera una caja fuerte.
