A pergunta que mais ouvimos nas turmas não é «qual modelo usar», e sim «como sei que está bom o suficiente para entrar em produção». A resposta quase nunca é um número mágico — é um roteiro.
1. Defina o que «certo» significa antes de testar
Parece óbvio, mas é o passo que a maioria pula. Antes de rodar qualquer avaliação, escrevemos, em uma frase, o que uma resposta aceitável precisa ter. Sem esse critério, todo teste vira opinião — e opinião não escala para uma equipe.
2. Monte um conjunto de casos reais, não sintéticos
Pegamos de 30 a 50 exemplos que realmente apareceram no trabalho da equipe — incluindo os casos chatos, ambíguos e mal formulados. É neles que o modelo falha, e é neles que a produção vai bater. Um conjunto só com exemplos «bonitos» dá uma falsa sensação de segurança.
3. Meça com critério, não no olhômetro
Para cada caso, comparamos a resposta com o critério do passo 1 e marcamos: passou, passou com ressalva, ou falhou. Três categorias já bastam para enxergar padrões. O que interessa não é a média — é onde e por que falha, porque é isso que você consegue corrigir.
4. Saiba dizer «ainda não»
Nem todo projeto está pronto, e tudo bem. Ensinamos as turmas a separar o que já pode ir para produção com supervisão, o que precisa de mais trabalho, e o que simplesmente não é um bom encaixe para IA agora. Dizer «ainda não» com dados é mais valioso do que empurrar algo que vai quebrar a confiança da equipe na primeira semana.
Esse roteiro é a base do módulo de avaliação das nossas trilhas — aplicado a um projeto real, com revisão de um mentor.
Voltar ao journal