IA medida antes
de ganhar autonomia.
Cada caso nasce com linha de base, critérios de sucesso, conjunto de avaliação com casos reais, limite de custo, rota de fallback e responsável humano. O modelo propõe; as regras em código validam; as exceções são escaladas; cada decisão deixa rastro.
A demonstração funcionou. Em produção, o modelo erra em 8% dos casos, ninguém sabe quais, o custo por chamada dobrou depois da mudança de preço do fornecedor, e não existe conjunto de teste para saber se a versão nova é melhor ou pior que a anterior.
Faz sentido quando
- Existe volume mensurável e repetitivo de leitura, classificação ou extração
- A base de conhecimento existe mas ninguém acha nada nela
- Já há IA em produção sem linha de base nem avaliação
- O dado é sensível e não pode sair da empresa
Não faz sentido quando
- O volume é baixo demais para pagar a construção
- Não existe critério objetivo de acerto — sem isso não há avaliação
- A expectativa é 100% de acerto sem revisão humana
Cada projeto pode incluir, conforme o contrato:
- Linha de base de custo, tempo e taxa de erro do processo atual
- Conjunto de avaliação com casos reais da operação
- RAG com busca híbrida: vetorial mais BM25, com reordenação
- Recuperação contextual quando o corpus justificar
- Versionamento de prompt, base e modelo
- Teto de custo por execução e por agente
- Rota de fallback quando o modelo falha ou fica indisponível
- Observabilidade com rastro da fonte de cada resposta
Linha de base
Quanto custa, quanto demora e quanto erra o processo hoje. Sem isso não há como afirmar melhora.
Conjunto de avaliação
Casos reais, com resposta certa conhecida. É o ativo mais valioso do projeto.
Construção
Recuperação, avaliação e limite de custo entram juntos, não em fases separadas.
Modo sombra
Roda em paralelo ao humano, sem executar, até a divergência cair.
Produção medida
Custo por execução, taxa de escalonamento e deriva no painel.
| Chatbot sobre API | Plataforma fechada | ALL MAX | |
|---|---|---|---|
| Linha de base antes | Não | Raro | Sempre |
| Conjunto de avaliação | Não | Da plataforma | Do seu caso |
| Teto de custo | Não | Por plano | Por execução |
| Roda com dado sensível | Sai da empresa | Sai da empresa | Local, quando exigido |
| Fonte citada na resposta | Às vezes | Depende | Sempre |
IA em produção move dado. A fronteira é desenhada antes:
- Classe de dado definida por fluxo, antes da primeira execução
- Dado sensível processado em máquina própria, sem chamada externa
- Subprocessador nomeado quando houver chamada externa
- Prompt e base versionados, para reproduzir qualquer resposta antiga
- Nenhum dado sensível em log ou em mensagem de erro
Projeção modelada · não é medição
Corpus de 50 a 300 mil documentos, com 2 a 8 mil consultas por mês hoje resolvidas por busca manual de 8 a 15 minutos.
Números projetados a partir do perfil descrito acima, para dar ordem de grandeza. Não são resultado medido em cliente. O diagnóstico substitui esta projeção pelos seus números.
Qual modelo vocês usam?
Depende da classe do dado e do custo por execução. Local para dado sensível, API para o que justifica. A escolha é registrada, e trocar de modelo não exige reescrever a aplicação.
RAG garante que não vai alucinar?
Não. RAG ancora a resposta em fonte autorizada e reduz a taxa de erro — a precisão é medida com casos reais, com rastreabilidade da fonte e rota de fallback. Quem promete garantia não mediu.
Quanto custa rodar?
É medido por execução e tem teto. Se o custo por execução não fecha contra o custo humano do processo, dizemos isso antes de construir.
Comece pela linha de base.
Antes de qualquer modelo, medimos quanto custa, quanto demora e quanto erra o processo hoje. É o único jeito de provar melhora depois.
Agendar diagnóstico