Uma automatização não é um móvel: é um organismo ligado a sistemas que se mexem sem o avisar. Um fornecedor altera o formato de uma resposta. Um modelo é atualizado e torna se mais prudente, portanto menos incisivo. Um comercial muda uma regra de desconto e ninguém se lembra de o dizer. Três meses depois o processo continua a funcionar, mas pior, e ninguém sabe desde quando.

As cinco perguntas, uma a uma

  • Quem intervém quando uma interface muda? Uma pessoa identificada, um prazo de intervenção anunciado, e uma forma de a contactar.
  • Quem vigia, e o quê? Uma supervisão útil não se limita a verificar que o serviço responde: verifica que o resultado continua bom.
  • Quem corrige os erros, e em que prazo? Um incidente bloqueante e uma deriva lenta não têm o mesmo tratamento.
  • O que acontece se o modelo mudar de comportamento? São precisos uma versão fixada, um conjunto de exemplos de referência e uma comparação antes da mudança.
  • Quanto custa tudo isto por ano? Um número anunciado antes da assinatura, não um orçamento descoberto no primeiro incidente.

Vigiar o resultado, não apenas o serviço

A supervisão clássica responde à pergunta «está a funcionar». Não chega: uma automatização pode funcionar perfeitamente e produzir resultados cada vez piores. Vigiamos por isso também o conteúdo: a proporção de propostas corrigidas por um humano, a parte de casos marcados como incertos, o custo médio por execução e os prazos de ponta a ponta.

Quando um destes indicadores se desvia, há um sinal antes do incidente. É toda a diferença entre corrigir uma automatização e descobri la avariada através de um cliente descontente.

Uma automatização quase nunca cai de uma só vez. Degrada se, e o silêncio passa por estabilidade.

A mudança de modelo

É o risco próprio dos projetos de IA, e é pouco conhecido. Um modelo atualizado não é o mesmo produto: o estilo muda, a prudência muda, o formato de saída pode mudar. Bastam três precauções: nunca deixar um processo apontar para uma versão flutuante, guardar um conjunto de exemplos com as respostas esperadas, e voltar a passar esse conjunto antes de qualquer mudança. Se o prestador não tem esses exemplos de referência, não pode saber o que uma atualização mudou no seu caso.

Retomar o controlo

É o ponto que protege a empresa a longo prazo. Assenta em quatro condições: o código e as instruções estão consigo, as contas dos serviços utilizados são suas, existe documentação legível por outra pessoa, e o contrato prevê uma passagem de testemunho. Um prestador que aceita estas quatro condições não teme ser substituído, o que em geral é bom sinal quanto ao resto.

Detalhamos isso no artigo sobre a propriedade, e a nossa oferta de pilotagem na página Orquestrador de IA descreve com precisão quem faz o quê depois de o projeto ser entregue.

A nossa posição

Não vendemos uma entrega seguida de silêncio. A supervisão, a correção e a adaptação fazem parte do serviço, com um custo anunciado, porque é a única forma honesta de apresentar uma automatização: não é uma compra, é uma exploração.