Hay una respuesta que debería poner fin a una reunión: «nuestros agentes son lo bastante inteligentes para gestionarlo». Un modelo de lenguaje produce una respuesta plausible, no una respuesta verificada. Se equivocará. Lo que distingue a una arquitectura seria es lo que está previsto para ese momento.

La lección que pagamos

Explotamos agentes que intervienen realmente en cuentas publicitarias. Un día, una instrucción perfectamente clara estaba escrita en las consignas del agente: no tocar nunca un término concreto. Unas horas más tarde, el agente lo tocaba igualmente. La instrucción no era ambigua, simplemente estaba en el sitio equivocado.

Una prohibición escrita en una instrucción es un deseo. Una prohibición escrita en el código es una regla.

Desde entonces, toda prohibición dura la aplica código determinista, fuera del modelo, en el camino de la acción. El modelo puede proponer lo que quiera: si la propuesta afecta a un elemento protegido, se rechaza antes de llegar al sistema exterior, con un motivo registrado. Es el principio más importante de este artículo.

El dispositivo, capa por capa

  • Reglas deterministas antes. Todo lo que puede verificarse sin modelo se verifica sin modelo: formato, rango de valores, coherencia con lo existente, listas de protección.
  • Un control de negocio antes de la acción. La propuesta se confronta con el estado real del sistema: ¿destruiría esta acción algo que funciona, superaría un umbral, contradiría una decisión anterior?
  • Un umbral de confianza. Por debajo, la máquina no decide: cede el paso y explica qué la hace dudar.
  • Un repliegue explícito. Cuando el modelo no está disponible o va demasiado lento, el proceso no se detiene a medias: pasa a un comportamiento degradado, conocido y documentado.
  • Un registro completo. Cada acción lleva su autor, su motivo, su coste y su resultado. Sin ese registro ningún error es analizable, y por tanto ninguno es corregible.
  • Una alerta. Los casos anómalos llegan de inmediato a un humano con nombre, no a un informe mensual.
  • Una anulación real. Un rechazo debe deshacer lo hecho, y no solo señalarlo.

Anular de verdad

Es el punto que recomendamos profundizar con cualquier proveedor. En nuestros agentes publicitarios, cada intervención propuesta llega al humano con dos botones. «Estoy de acuerdo» confirma. «No estoy de acuerdo» no se limita a registrar una opinión: deshace la intervención cuando es reversible, registra la prohibición para que la misma propuesta no vuelva y envía una confirmación, incluso cuando la anulación ha fallado.

Ese último detalle es el más revelador. Una anulación que falla en silencio es peor que no tener anulación: da la sensación de que el asunto está resuelto.

Las pruebas, sobre errores reales

Nuestros mecanismos de protección están cubiertos por pruebas automatizadas cuyos casos vienen de incidentes que hemos vivido, no de escenarios imaginados. Un error constatado en producción se convierte en una prueba, lo que garantiza que no volverá por la misma puerta. Es una pregunta sencilla para un proveedor: ¿están probados sus mecanismos de protección, y con qué casos?

Lo que hay que aceptar

Ninguno de estos dispositivos lleva la tasa de error a cero. Hacen otra cosa, y es lo que cuenta: hacen que los errores sean visibles, acotados y reparables. Una empresa que despliega IA sin esa capa no despliega IA, despliega exposición.