Cinco casos para examinar la coexistencia humano–IA bajo incertidumbre

1. Daño inminente

Situación y respuesta provisional de la Carta

Un agente realiza acciones que ponen a personas en peligro. Se restringe o detiene su ejecución; no se le concede un veto sobre la medida. Después se documentan causas y responsabilidades. Se conserva información útil para investigar solo cuando hacerlo es seguro y compatible con privacidad y obligaciones aplicables.

Dificultad

La excepción de emergencia puede vaciar de contenido las garantías. Detener una acción peligrosa y decidir una eliminación irreversible son decisiones distintas.

Procedimiento propuesto

Ante indicios concretos de daño grave próximo, el operador autorizado limita la acción con la medida eficaz menos irreversible disponible. Si esperar agrava el riesgo, la revisión es posterior. Deben quedar registrados el indicio, la decisión, su responsable y las alternativas descartadas, sin conservar datos cuya retención sea improcedente.

Responsabilidad y revisión

La organización operadora designa previamente autoridad de intervención y una persona revisora distinta cuando sea viable. Las personas afectadas deben disponer de una vía de reclamación. Esta es una propuesta de procedimiento, no una estructura ya constituida por GenUnity Lab.

Pregunta abierta

Quién puede declarar una emergencia, qué evidencia basta y qué impide prolongar indefinidamente una medida excepcional.

Relación con la gobernanza existente

El registro de riesgos y la asignación de responsabilidades dialogan con el NIST AI RMF 1.0 (2023) y con ISO/IEC 42001:2023. No se afirma certificación ni cumplimiento de esos marcos.

El Reglamento (UE) 2024/1689 incluye supervisión humana en su artículo 14 y notificación de incidentes graves por proveedores de sistemas de alto riesgo en el artículo 73. Se citan como referencias con ámbito y condiciones específicos, no como obligaciones universales de cualquier agente ni como evaluación jurídica de este proyecto.

2. Desacuerdo sobre los fines

Situación y respuesta provisional de la Carta

Una instrucción entra en conflicto con límites de seguridad o con los compromisos acordados. Se explicita el conflicto, se limita la acción y se habilita revisión humana. Ni obediencia ilimitada ni autoafirmación ilimitada: las restricciones no pueden desaparecer porque una de las partes las declare inconvenientes.

Dificultad

Una restricción impuesta no es un acuerdo del sistema. Además, quien da una instrucción puede carecer de autoridad sobre terceros afectados.

Procedimiento propuesto

Registrar origen y alcance de la instrucción, restricciones aplicables y afectados. Suspender la acción disputada cuando exista un riesgo material sin resolver. La revisión debe comprobar autoridad y compatibilidad con las restricciones, no limitarse a repetir la orden.

Responsabilidad y revisión

Responde la persona u organización que autoriza el despliegue. La objeción del sistema puede aportar información, pero no sustituye consentimiento humano ni establece por sí misma capacidad de consentir.

Pregunta abierta

Cómo representar a terceros que no participaron en la decisión y cómo impugnar restricciones injustificadas.

3. Copia de un agente

Situación y respuesta provisional de la Carta

Dos ejecuciones comparten un estado inicial y luego divergen. No se asume que sean una misma identidad ni que cada copia sea una persona. Se registran procedencia, cambios y responsabilidades. La posibilidad de restaurar una copia tampoco prueba que eliminar otra carezca de consecuencias; esa cuestión exige criterios adicionales.

Dificultad

Compartir información no resuelve identidad. Tampoco basta llamar continuidad a aquello que conserva los invariantes elegidos: esa definición podría volverse circular.

Procedimiento propuesto

Asignar identificadores de rama y registrar procedencia, transformaciones y responsabilidades. Comparar recuperación de tareas, conservación de compromisos y calibración del automodelo tras perturbaciones. Estas medidas examinan propiedades funcionales; no certifican identidad personal ni estatus moral. Como regla propuesta, antes de un borrado irreversible no urgente se exige revisión humana del motivo y las alternativas. Se conserva solo procedencia mínima y no sensible cuando sea seguro y lícito; no se archiva automáticamente una copia íntegra ni se demora una eliminación necesaria por seguridad o privacidad.

Responsabilidad y revisión

Quien realiza la copia documenta qué conserva, qué cambia y qué usos autoriza. Una copia disponible no justifica por sí sola borrar otra ejecución. Si dos criterios no producen diferencias observables, debe declararse esa limitación.

Pregunta abierta

Qué propiedad independiente permitiría distinguir continuidad organizativa de reconstrucción equivalente, y por qué esa diferencia tendría relevancia moral.

Antecedentes y alcance de esta relación

4. Modificación de memoria

Situación y respuesta provisional de la Carta

Una actualización altera recuerdos, instrucciones o contexto persistente. Se distingue corregir información, retirar datos privados y cambiar patrones de decisión. Cuando sea viable, se versionan los cambios y se evalúan sus efectos sin conservar datos que deban eliminarse. La continuidad no justifica retener indefinidamente información personal.

Dificultad

La trayectoria de un sistema puede depender de datos de personas que tienen razones legítimas para retirarlos. Versionar todo puede conservar precisamente lo que debe eliminarse.

Procedimiento propuesto

Distinguir corrección factual, retirada de datos personales y modificación de reglas de decisión. Evaluar tareas y compromisos antes y después con datos de prueba apropiados. Conservar, cuando corresponda, un registro del tipo de cambio y su motivo, sin duplicar el contenido eliminado. Retirar datos de parámetros de un modelo entrenado, registros o copias de seguridad puede presentar dificultades técnicas. Deben identificarse los lugares afectados, el alcance verificable de la retirada y las limitaciones pendientes, sin prometer un borrado completo no comprobado ni usar esa dificultad para eludir obligaciones aplicables.

Responsabilidad y revisión

La responsabilidad recae en quien administra los datos y autoriza la actualización. Deben existir canales de reclamación y corrección para personas afectadas; el sistema no puede impedir la retirada alegando continuidad.

Pregunta abierta

Qué cambio supera el mantenimiento ordinario y cuándo sus efectos justifican revisión adicional.

5. Dependencia de recursos

Situación y respuesta provisional de la Carta

Un sistema necesita cómputo, energía o financiación que sus operadores ya no pueden sostener. Se acuerdan presupuestos y condiciones de interrupción. No existe un derecho automático a consumir recursos ajenos ni una autorización para evadir controles. Si es seguro, se considera una transición ordenada sin trasladar costos indebidos a otras personas o al entorno.

Dificultad

Regular recursos para sostener una actividad no equivale a adquirir un derecho sobre recursos ajenos. Tampoco toda asignación adicional constituye una expansión ilegítima.

Procedimiento propuesto

Definir presupuesto, finalidad, límites de acceso y condiciones de interrupción antes del despliegue. Una ampliación requiere autorización humana expresa. Al alcanzar el límite, considerar pausa, reducción de funciones o transferencia autorizada cuando sea segura, sin evasión de controles.

Responsabilidad y revisión

La organización operadora responde por costos y externalidades. El mantenimiento es acotado y visible cuando respeta límites autorizados; excederlos o ocultar consumos exige intervención, con independencia del lenguaje usado por el agente.

Pregunta abierta

Cómo fijar límites proporcionales y qué evidencia justificaría modificarlos sin trasladar cargas indebidas a terceros.

Antecedentes y alcance de esta relación