Abertura

Um tutor de matemática acompanha uma aluna há doze aulas. Tudo na mesma conversa.

Na aula um, ela pediu: não me mostra a solução, só dicas. Combinado, disse o tutor.

Na aula seis, para uma lista de revisão, ela pediu o contrário. Nesta lista, pode mostrar a solução completa.

Agora é a aula doze, e o histórico tem quase noventa mil tokens. Ela pede ajuda com a questão quatro. E o tutor alterna entre as duas regras, sem lógica clara.

Ninguém avisou o tutor que a regra da aula seis valia só para aquela lista. Ninguém resumiu o que a aluna já domina. O modelo recebe tudo e tenta adivinhar o que ainda vale. Nesta aula, você vai aprender a reconhecer esse smell, e o que colocar no lugar de um histórico que só cresce.

O diagnóstico

O ciclo é este. Chega um turno novo.

O código acrescenta ao histórico inteiro, que nunca diminui.

O modelo lê dezenas de milhares de tokens, a maioria irrelevante, ou velha.

A resposta piora, e custa mais. E ela também entra no histórico, então o ciclo continua.

Como identificar? A conversa, ou a sessão do agente, só cresce. Nada nunca sai.

O modelo cita informação velha como se fosse atual. Um pedido de três meses atrás, um arquivo que já mudou.

Instruções dadas no começo são ignoradas, ou misturadas com as de depois.

O custo por turno sobe ao longo da sessão, mesmo para perguntas curtas. E o tempo até a primeira palavra aparecer também.

E a qualidade da resposta cai nas sessões longas, enquanto está boa nas curtas.

Por que acontece

Os exemplos padrão só acrescentam. O código de chat mais simples guarda a lista de mensagens e manda tudo de novo. Funciona nos primeiros dez turnos.

Janelas grandes parecem seguras. Se cabe um milhão de tokens, não parece ter motivo para cortar. Mas caber não é o mesmo que ser bem usado. Os modelos usam com menos confiança o que fica no meio de um contexto longo. E as instruções da aula um e da aula seis brigam exatamente nesse meio. A janela comporta. A atenção, não.

Apagar dá medo. Sem saber o que importa, guardar tudo parece mais seguro.

E agentes produzem muito texto. Resultados de ferramentas, arquivos lidos, saída de testes. Tudo entra no histórico e fica lá, muito depois de deixar de ser útil.

Quanto custa

O custo começa na qualidade. Regras e fatos enterrados no meio são seguidos com menos confiança, e informação contraditória produz respostas instáveis.

Depois, dinheiro, com números ilustrativos. Um prompt de sistema de dois mil tokens, e mais quatrocentos a cada turno. No turno três, uma chamada manda uns três mil e duzentos tokens. No turno doze, uns seis mil e oitocentos. No turno quarenta, uns dezoito mil.

A pergunta da aluna cabe numa linha. A conta, não. O cache de prompt barateia um começo estável, mas um histórico que muda a cada turno não fica nesse começo guardado. E em algum momento a sessão estoura a janela, e o corte acontece no pior lugar, sem lógica nenhuma.

A mesma coisa aparece no atendimento de um banco pelo WhatsApp. No mês um, o cliente falou de um Pix cancelado. No mês três, ele pergunta o saldo, e o bot ainda fala daquele Pix como o problema atual. A mensagem nova tinha doze palavras. O contexto carregava meses de atendimento.

Um desafio

Uma pergunta para você. Um chat de atendimento sempre manda só as últimas dez mensagens e descarta o resto. Agora os clientes reclamam que o bot esquece o número do pedido que eles deram no começo. Isso é context rot?

Não. O contexto não está podre, está curto demais. Cortar por uma janela fixa resolve o custo, mas perde fatos. O que falta é um estado explícito da conversa, uma memória de curto prazo. O número do pedido mora ali, fora do histórico bruto, onde o seu código mantém atualizado.

O tratamento

São duas refatorações. Quando a sessão é uma conversa longa, troque o histórico por um resumo. Os turnos antigos viram um resumo, e os fatos que precisam durar, como preferências e regras combinadas, vão para um estado explícito.

E quando o contexto incha com trabalho de leitura, como arquivos, páginas ou logs, extraia um subagente. Ele lê num contexto limpo e devolve só a conclusão.

Aqui está a aula doze, antes e depois. Antes, noventa mil tokens de chat bruto, com duas regras em conflito, enterradas no meio. Depois, um resumo curto, o estado, com o nível da aluna e a regra atual, e os turnos mais recentes. A regra ativa mora num campo só, que dá para ler, editar e testar.

E cuidado com um erro quando começar a cortar. Digamos que você resume a cada vinte turnos. No mês três, o resumo ainda diz: cliente com Pix cancelado, tratar como urgente. E o bot volta a falar disso, quando o cliente só pediu o saldo. Você só compactou o apodrecimento. Um resumo precisa de validade. O que vale agora vai para o estado, com prazo de validade. E o passado fica no resumo como passado, ou sai.

Um agente de código

Mais uma, do mundo dos agentes. Um agente de código leu quarenta arquivos, achou a causa de um bug e agora está escrevendo a correção. Os quarenta arquivos ainda vão em todo turno. Qual é o próximo passo mais útil?

Limpe os resultados antigos de ferramentas, ou leve a leitura para um subagente que devolve só a conclusão. Os arquivos já cumpriram o papel deles. Agora eles empurram a instrução da correção para o meio do contexto, onde o modelo lê pior. Uma janela maior não resolve. E mandar o modelo ignorar os arquivos que não vai usar disputa com dezenas de milhares de tokens que continuam lá. Quem tira o que não serve é o código. Não o modelo.

Parentes próximos

E um caso que parece, mas não é. Um prompt de sistema de oito mil tokens, que nunca muda entre turnos, em conversas de uns seis turnos. O custo por mensagem é alto. Mas o contexto não cresce durante a sessão. O peso está fixo no prompt. Isso é prompt bloat. Enxugue o prompt e, se o começo é estável, use cache.

Quando ignorar

Quando dá para ignorar? Sessões curtas por natureza. Um chat de atendimento que dura cinco turnos não precisa de compactação.

Tarefas em que a entrada inteira é o documento. Revisar um contrato de uma vez é diferente de carregar uma conversa velha. Ali, o texto é o trabalho, não sobra de turnos.

E protótipo. Acrescentar tudo é o jeito mais rápido de testar uma ideia. Só não coloque sessões longas no ar assim.

Fechamento

Então, a ideia para levar. Um histórico longo não é memória. É uma pilha que o modelo precisa revirar a cada turno, e pagar por isso. Guarde os fatos que precisam durar num estado explícito, resuma o passado como passado, e deixe o trabalho terminado sair do contexto.

Na próxima aula, a gente faz a primeira refatoração passo a passo: replace history with summary. Até lá.