Existe uma resposta que deveria pôr fim a uma reunião: «os nossos agentes são suficientemente inteligentes para gerir isso». Um modelo de linguagem produz uma resposta plausível, não uma resposta verificada. Vai enganar se. O que distingue uma arquitetura séria é o que está previsto para esse momento.

A lição que pagámos

Operamos agentes que intervêm realmente em contas publicitárias. Um dia, uma instrução perfeitamente clara estava escrita nas orientações do agente: nunca tocar num termo preciso. Algumas horas depois o agente tocava lhe na mesma. A instrução não era ambígua, estava simplesmente no sítio errado.

Uma proibição escrita numa instrução é um desejo. Uma proibição escrita no código é uma regra.

Desde então, toda a proibição rígida é aplicada por código determinista, fora do modelo, no caminho da ação. O modelo pode propor o que quiser: se a proposta toca num elemento protegido, é recusada antes de chegar ao sistema exterior, com um motivo registado. É o princípio mais importante deste artigo.

O dispositivo, camada a camada

  • Regras deterministas a montante. Tudo o que pode ser verificado sem modelo é verificado sem modelo: formato, intervalo de valores, coerência com o existente, listas de proteção.
  • Um controlo de negócio antes da ação. A proposta é confrontada com o estado real do sistema: esta ação destruiria algo que funciona, ultrapassaria um limiar, contradiria uma decisão anterior?
  • Um limiar de confiança. Abaixo dele, a máquina não decide: passa a mão, explicando o que a torna incerta.
  • Um recurso alternativo explícito. Quando o modelo está indisponível ou demasiado lento, o processo não para a meio: passa a um comportamento reduzido, conhecido e documentado.
  • Um registo completo. Cada ação leva o seu autor, o seu motivo, o seu custo e o seu resultado. Sem esse registo nenhum erro é analisável, logo nenhum é corrigível.
  • Um alerta. Os casos anómalos chegam de imediato a um humano identificado, não a um relatório mensal.
  • Uma anulação real. Uma recusa deve desfazer o que foi feito, e não apenas assinalá lo.

Anular a sério

É o ponto que aconselhamos a aprofundar com qualquer prestador. Nos nossos agentes publicitários, cada intervenção proposta chega ao humano com dois botões. «Concordo» confirma. «Não concordo» não se limita a registar uma opinião: desfaz a intervenção quando é reversível, regista a proibição para que a mesma proposta não regresse, e envia uma confirmação, mesmo quando a anulação falhou.

Este último detalhe é o mais revelador. Uma anulação que falha em silêncio é pior do que não haver anulação: dá a sensação de que o assunto está tratado.

Os testes, sobre erros reais

As nossas proteções estão cobertas por testes automatizados cujos casos vêm de incidentes que vivemos, não de cenários imaginados. Um erro verificado em produção torna se um teste, o que garante que não voltará pela mesma porta. É uma pergunta simples a fazer a um prestador: as vossas proteções são testadas, e com que casos?

O que é preciso aceitar

Nenhum destes dispositivos leva a taxa de erro a zero. Fazem outra coisa, e é isso que conta: tornam os erros visíveis, delimitados e reparáveis. Uma empresa que implementa IA sem essa camada não implementa IA, implementa uma exposição.