C'è una risposta che dovrebbe chiudere un incontro: «i nostri agenti sono abbastanza intelligenti da gestirlo». Un modello linguistico produce una risposta plausibile, non una risposta verificata. Sbaglierà. Ciò che distingue un'architettura seria è che cosa è previsto per quel momento.

La lezione che abbiamo pagato

Gestiamo agenti che intervengono davvero su account pubblicitari. Un giorno, un'istruzione perfettamente chiara era scritta nelle consegne dell'agente: non toccare mai un termine preciso. Qualche ora dopo l'agente lo toccava lo stesso. L'istruzione non era ambigua, era semplicemente nel posto sbagliato.

Un divieto scritto in un'istruzione è un desiderio. Un divieto scritto nel codice è una regola.

Da allora, ogni divieto rigido è applicato da codice deterministico, fuori dal modello, sul percorso dell'azione. Il modello può proporre ciò che vuole: se la proposta tocca un elemento protetto, viene rifiutata prima di raggiungere il sistema esterno, con un motivo registrato. È il principio più importante di questo articolo.

Il dispositivo, strato per strato

  • Regole deterministiche a monte. Tutto ciò che può essere verificato senza modello è verificato senza modello: formato, intervallo di valori, coerenza con l'esistente, liste di protezione.
  • Un controllo di merito prima dell'azione. La proposta è confrontata con lo stato reale del sistema: questa azione distruggerebbe qualcosa che funziona, supererebbe una soglia, contraddirebbe una decisione precedente?
  • Una soglia di fiducia. Al di sotto, la macchina non decide: passa la mano, spiegando che cosa la rende incerta.
  • Un ripiego esplicito. Quando il modello non è disponibile o è troppo lento, il processo non si ferma a metà: passa a un comportamento ridotto, conosciuto e documentato.
  • Un registro completo. Ogni azione porta il suo autore, il suo motivo, il suo costo e il suo esito. Senza quel registro nessun errore è analizzabile, quindi nessuno è correggibile.
  • Un avviso. I casi anomali arrivano subito a un umano con nome e cognome, non in un rapporto mensile.
  • Un annullamento reale. Un rifiuto deve disfare ciò che è stato fatto, non soltanto segnalarlo.

Annullare davvero

È il punto che consigliamo di approfondire con qualsiasi fornitore. Sui nostri agenti pubblicitari, ogni intervento proposto arriva all'umano con due pulsanti. «Sono d'accordo» conferma. «Non sono d'accordo» non si limita a registrare un parere: disfa l'intervento quando è reversibile, registra il divieto perché la stessa proposta non torni e invia una conferma, anche quando l'annullamento è fallito.

Quest'ultimo dettaglio è il più rivelatore. Un annullamento che fallisce in silenzio è peggio di nessun annullamento: dà la sensazione che il tema sia risolto.

I test, su errori reali

Le nostre protezioni sono coperte da test automatizzati i cui casi vengono da incidenti che abbiamo vissuto, non da scenari immaginati. Un errore constatato in produzione diventa un test, il che garantisce che non tornerà dalla stessa porta. È una domanda semplice da porre a un fornitore: le vostre protezioni sono testate, e su quali casi?

Che cosa bisogna accettare

Nessuno di questi dispositivi porta il tasso di errore a zero. Fanno altro, ed è ciò che conta: rendono gli errori visibili, delimitati e riparabili. Un'azienda che adotta l'IA senza quello strato non adotta l'IA, adotta un'esposizione.