Plataforma de inferência de LLM

SYSTEM DESIGN
 >_ inicializando…

SYSTEM DESIGN
 >_ inicializando…

llmgpucachingrag

Objetivo

Projete a plataforma que recebe requisições de chat, gera resposta com um LLM e devolve ao usuário — com recuperação de contexto (RAG) para as perguntas que exigem documentos.

Requisitos funcionais

Gerar resposta para cada requisição de chat
Buscar contexto relevante por similaridade antes de gerar (RAG)
Aplicar cota por tenant

Requisitos não funcionais

p99 abaixo de 3s: geração é lenta por natureza — este alvo é a realidade, não folga
A GPU domina o custo: o desenho é julgado por quanta GPU ele evita comprar
Aguentar a perda de uma zona

Alvo: 2,000 RPS ·95% read · SLA p99_ms < 3000ms

// KEY_CONSIDERATIONS

A GPU é a peça cara. Ela custa cerca de 20× uma réplica de app server. Toda decisão do desenho é, no fundo, "quantas GPUs eu consigo NÃO comprar?".
O KV cache é o knob mais barato que existe aqui. Reaproveitar prefixo (prompt de sistema, turnos anteriores da mesma sessão) tira trabalho da GPU sem tirar qualidade da resposta.
Rate limiting é proteção de orçamento, não só de latência. Recusar excedente aqui evita gasto de GPU — mas recusar tráfego legítimo derruba a disponibilidade.
RAG tem dois lados: a busca (leitura, escala por réplica) e a ingestão de documentos (escrita, escala por shard).
Fila entre o gateway e a GPU desacopla a espera de quem chamou, mas não reduz a carga: o trabalho continua chegando na GPU.

Learn Before Solving

Os conceitos que este problema exercita. Abra cada card antes de desenhar.

Reference Architecture

Existe uma abordagem forte guardada para este problema. Ela aparece no Compare with reference, dentro do editor, depois que você desenhar e simular a sua — comparada lado a lado com o que você fez.