Os modelos de linguagem produzem demonstrações impressionantes e produtos pouco fiáveis, e a distância entre as duas coisas chama-se medição. Antes de construirmos uma funcionalidade de IA, acordamos o que ela vai substituir, o desempenho actual dessa coisa, e que resultado justificaria a mudança.
Estabelecer primeiro a base de comparação
Se hoje um administrativo extrai quinze campos de um formulário digitalizado com cerca de dois por cento de erro, é esse o número a bater. Sem ele, qualquer valor de precisão fica sem âncora — noventa e quatro por cento soa excelente até se descobrir que as pessoas estavam em noventa e oito.
Construir o conjunto de avaliação antes da funcionalidade
Reunimos um conjunto reservado de casos reais com respostas verificadas, deliberadamente enviesado para os difíceis: digitalizações más, formatos invulgares, campos em falta, entradas adversariais. Cem casos bem escolhidos valem mais do que mil fáceis.
- Amostrar de dados de produção, não do que é conveniente recolher
- Sobre-representar casos extremos face à sua frequência natural
- Ter a resposta correcta verificada por quem faz o trabalho hoje
- Versionar o conjunto e mantê-lo fora de qualquer prompt ou dados de treino
Restringir a saída, validar o resultado
Esquemas de saída estruturada eliminam uma categoria inteira de falhas. Para além da validade do esquema, as regras de negócio devem correr antes de qualquer persistência: uma data de nascimento no futuro, um total que não corresponde à soma das linhas, um número de identificação com dígito de controlo errado. As extracções rejeitadas vão para revisão humana e não para a base de dados.
Encaminhar por confiança, manter pessoas no circuito
Onde errar é caro, a arquitectura correcta não é a automatização total. Defina um limiar de confiança, processe automaticamente o que o ultrapassa e envie o resto para um revisor com a região de origem destacada. Fica com a maior parte do ganho de capacidade e mantém a taxa de erro sob controlo.
Por fim, a suíte de avaliação corre em CI. Qualquer alteração de prompt, actualização de modelo ou ajuste de pesquisa é pontuada contra o mesmo conjunto, e uma regressão faz falhar a build. Sem essa barreira, uma mudança de versão de modelo degrada silenciosamente um sistema que ninguém está a observar.