Seu recurso com LLM funciona no notebook. O tráfego de verdade vai testar cada decisão.

System design com LLM para desenvolvedores

Arquitetura, latência, custo, cache, roteamento, guardrails e observabilidade em aplicações de IA

O seu recurso com LLM funciona no notebook. Aí chega o tráfego de verdade, o provedor tem uma tarde ruim, a conta dobra e alguém cola um prompt que convence o seu agente a mexer no que não devia.

É desse intervalo, entre uma chamada que funciona e um sistema em que você confia em produção, que o livro trata. Ele acompanha um assistente que cresce de um só time até uma empresa inteira, e cada capítulo conserta a próxima coisa que quebra. Você faz uma estimativa de carga no guardanapo, define orçamentos de latência e de tokens, decide o que vale a pena guardar em cache, põe novas tentativas e caminhos de reserva que não pioram uma queda, manda as requisições fáceis para modelos mais baratos e trata saída estruturada e chamadas de ferramenta como contratos. Os capítulos seguintes colocam limites nos agentes, defendem o sistema contra prompt injection no próprio projeto em vez de filtrar a entrada, medem o custo por funcionalidade com tracing e levam a avaliação para dentro do ciclo de release. No fim vem a pergunta de sempre: API hospedada ou rodar o modelo por conta própria?