Executor barato, conselheiro caro

Tentei o “um-modelo-grande-pra-tudo” porque parecia a decisão mais honesta: se o modelo topo resolve tudo, por que arbitrar? Coloquei o mais capaz em cada volta do loop do agente e fui dormir tranquilo. O que ficou pelo caminho não foi qualidade. Foi a fatura, que triplicou sem que nenhuma reunião tivesse decidido triplicá-la. Ninguém aprovou aquele custo. Ele só apareceu, distribuído em milhões de chamadas que ninguém olhava uma a uma.

O erro estava na pergunta. Eu perguntava qual o melhor modelo. A pergunta certa é outra: qual o modelo mais barato que ainda passa na minha eval. Todo o resto vira conselheiro caro sob demanda, e não plantonista permanente.

A maioria das voltas é entediante

Um loop de agente não é uma sequência de decisões difíceis. É uma sequência de decisões, e a maioria é trivial. Ler o resultado de uma ferramenta e escolher o próximo passo óbvio. Resumir um trecho. Reformatar uma saída. Decidir se a tarefa terminou. Se você instrumentar o loop e olhar volta a volta, descobre que a maior parte das chamadas é tarefa que um modelo pequeno resolve com folga.

Colocar o modelo topo nessas voltas é pagar consultoria de especialista pra carimbar formulário. Funciona. Só é caro de um jeito que não aparece no diagrama, aparece no fim do mês.

O que meço pra decidir o corte

O corte não é palpite, é medição, e são três números:

• Taxa de aprovação na eval, por classe de volta. Rodo o modelo barato contra a suíte de casos reais e vejo onde ele passa. Onde passa consistentemente, ele fica. Onde derrapa, escala.
• Custo por tarefa resolvida, não por token. Token isolado é barato e engana. O que importa é quanto custou fechar a tarefa inteira, incluindo as voltas que o barato errou e teve que refazer.
• Taxa de escalada. Quantas voltas sobem pro conselheiro. Se sobe demais, o corte está no lugar errado e o barato não era barato de verdade.

O detalhe que quase ninguém coloca na conta aqui no Brasil: o token é cotado em dólar e o orçamento é em real. Cada volta cara não custa só mais, custa mais vezes o câmbio. Modelo topo em tudo é uma posição comprada em dólar que você assinou sem perceber.

Conselheiro caro sob demanda

O modelo caro não sai do sistema, ele muda de função. Deixa de ser o executor e vira o especialista que você chama quando o barato levanta a mão. A escalada passa a ser um evento explícito no design, com gatilho claro: baixa confiança, ferramenta ambígua, volta que a eval marcou como difícil.

const draft = await cheap.run(turn);
if (draft.confidence >= threshold) return draft;
return advisor.escalate(draft); // conselheiro caro, só aqui

Um-modelo-pra-tudo não é simplicidade, é terceirizar a decisão de custo pro faturamento.

Tem um efeito colateral que gosto. Quando a escalada é explícita, ela vira métrica. Você passa a saber quais são as voltas genuinamente difíceis do seu produto, porque são exatamente as que sobem. Esse mapa é caro de comprar de outro jeito.

O barato tem que ser bom o bastante, não ótimo

A tentação seguinte é caçar o menor modelo possível e empurrar o corte até doer. Errado na outra ponta. O barato tem que passar na eval, ponto. Se ele passa raspando e a taxa de escalada dispara, você trocou fatura de inferência por fatura de retrabalho, e essa é pior: vem com latência e usuário irritado junto.

O ponto de equilíbrio não é o modelo mais barato do catálogo, é o mais barato que ainda passa. Essa palavra, “ainda”, é onde mora a engenharia.

A conta que ninguém aprovou é sempre a que ninguém mediu. Meça o corte, e o conselheiro caro volta a ser o que sempre devia ter sido: exceção, não default.