A discussão sobre inteligência artificial nas empresas ainda gira em torno de uma pergunta que começa a ficar ultrapassada: quantas pessoas estão usando AI?
A pergunta relevante agora já é outra: quanto trabalho a AI já consegue executar de ponta a ponta, com autonomia, qualidade mensurável e retorno econômico claro?
Esta diferença separa duas fases da adoção. Um chatbot diz ao cliente se ele pode devolver um produto. Um agente localiza o pedido, consulta a política, emite a etiqueta, acompanha o retorno ao estoque e dispara o reembolso.
No primeiro caso, a AI ajuda uma pessoa a trabalhar. No segundo, executa parte do trabalho.
Enquanto boa parte das empresas ainda tenta chegar à segunda fase, os laboratórios da fronteira da AI já trabalham na terceira: sistemas que executam tarefas, avaliam o próprio desempenho, identificam falhas e melhoram a partir delas.
É a lógica do recursive self-improvement, ou RSI.
Isso não significa que já exista um agente capaz de se reescrever indefinidamente sem supervisão humana. Mas a direção é clara. Estamos saindo de modelos que respondem perguntas para sistemas que executam, observam resultados e iteram. A tecnologia avança mais rápido do que a maioria das empresas consegue incorporar.
Nas conversas que tenho tido com grandes empresas brasileiras, um padrão se repete: o acesso a bons modelos deixou de ser o principal problema. O gargalo passou a ser administrá-los.
Uma empresa pode ter dezenas de agentes em produção e ainda não saber quais geram valor, quanto custam ou onde falham.
Essa proliferação cria uma falsa sensação de avanço. O verdadeiro gargalo é confiança.
Errar ocasionalmente pode ser aceitável para um agente que resume uma reunião. É muito diferente quando ele altera um pedido, aprova uma transação ou opera um sistema crítico. Para dar autonomia real, a empresa precisa saber onde o agente funciona, onde falha, e quanto custa cada erro.
Durante décadas, as empresas construíram sistemas sofisticados para gerir o trabalho humano. Definem metas, KPIs, produtividade, qualidade e risco. Com os agentes, muitas fazem o oposto: conectam um modelo aos dados, dão acesso a ferramentas, escrevem um prompt e esperam que a inteligência compense a falta de clareza sobre o resultado esperado.
Não compensa.
Se os agentes vão assumir partes reais do negócio, seu desempenho precisa ser medido com o mesmo rigor aplicado às pessoas. Assim como as empresas usam a metodologia de OKRs (Objetivos e Resultados-Chave) para definir metas e acompanhar resultados, elas também precisarão de evals – as avaliações que medem a qualidade, eficiência e confiabilidade do trabalho da AI.
Em outras palavras, não basta colocar agentes para trabalhar. É preciso saber se estão fazendo um bom trabalho.
As evals transformam objetivos de negócio em critérios verificáveis. Por exemplo, não basta dizer se um agente de atendimento está “atendendo bem”. É preciso saber o percentual de casos que ele resolve corretamente, quando deve escalar para um humano, quais erros são inaceitáveis e quanto custa cada resolução.
Quando essa camada existe, a AI deixa de ser experimento e vira disciplina de engenharia e gestão. Muda também a discussão sobre modelos. A pergunta deixa de ser “qual é o melhor modelo” e passa a ser qual combinação de modelo, contexto, ferramentas e arquitetura entrega o melhor resultado para cada tarefa.
Muda também a forma de medir retorno. Número de usuários, agentes ou tokens consumidos medem atividade. O que importa é quanto custa cada tarefa executada corretamente, em quanto tempo e com que risco.
Depois que uma empresa consegue medir seus agentes, começa a parte realmente importante: melhorar a performance deles continuamente.
Imagine duas empresas com agentes de qualidade parecida. Na primeira, identificar uma falha, corrigi-la e validar uma nova versão leva seis semanas. Na segunda, as interações de produção alimentam os evals, cada erro novo vira caso de teste, e regressões aparecem antes de a nova versão chegar ao cliente. O ciclo leva dois dias.
Depois de dezenas de ciclos, essas empresas já não estarão construindo o mesmo produto.
Se eu tivesse que escolher um único indicador para avaliar a estratégia de AI de uma empresa, seria este: quanto tempo leva para um erro em produção virar um teste e a correção chegar ao cliente.
É aqui que a lógica do recursive self-improvement deixa de parecer distante da realidade corporativa. O princípio é o mesmo: fechar o ciclo entre execução, avaliação e aprendizado. A operação gera trajetórias, as trajetórias revelam falhas, as falhas viram evals e dados de treinamento, novas versões são testadas e as melhores voltam para produção.
Trabalhando com laboratórios de fronteira, aprendi que os modelos avançam mais rápido justamente onde é possível verificar se acertaram. Programação e matemática são os exemplos mais claros. Nas empresas, tende a acontecer o mesmo. Os processos que puderem ser medidos serão os primeiros a ser automatizados e melhorados de verdade.
A empresa que constrói esse ciclo transforma sua própria operação em um ativo difícil de copiar. Aprende onde os modelos falham, quais exceções importam e como seus melhores especialistas tomam decisões.
Esse ativo também sobrevive às trocas de tecnologia. Modelos ficam obsoletos rapidamente. Bons evals ganham valor a cada caso novo. Quando surge um modelo melhor, quem tem essa infraestrutura consegue medir rapidamente o que ganhou e o que perdeu.
É daí também que surge a oportunidade de post-training. Modelos de fronteira são extremamente capazes, mas generalistas. Uma empresa com bons evals, exemplos de alta qualidade e um histórico claro de failure modes começa a ter o material necessário para especializar modelos para os próprios problemas.
Por isso, acesso ao melhor modelo dificilmente será uma vantagem competitiva sustentável. Todos terão acesso a modelos muito bons. O diferencial estará em quem aprender mais rápido, com evals proprietários, dados produzidos pela própria operação e capacidade de transformar erro em melhoria.
A primeira fase da adoção da AI foi colocar inteligência nas mãos dos funcionários. A segunda é colocar agentes dentro da operação. A terceira será construir sistemas que aprendem continuamente com a própria operação.
Muitas empresas ainda estão medindo a primeira. A fronteira já está construindo a terceira.
Lucas Smaira é co-fundador da Vetto AI, ex-pesquisador do Google DeepMind e integrante da equipe fundadora da Mistral AI.
