Prancha 02
fast-semantic-cache
Cache para chamadas de IA: pergunta repetida volta em milissegundos, sem pagar a API de novo.
Problema
Aplicações com LLM pagam e esperam várias vezes pela mesma resposta: perguntas repetidas ou quase iguais viram chamadas novas à API.
Solução
Um gateway na frente do provedor de LLM responde do cache quando é seguro: um tier exato pelo hash do payload completo e um tier lexical opcional (MinHash/LSH com verificador determinístico), com isolamento por cliente.
Decisões
- 01Exato por padrão: o tier aproximado nasce desligado e roda em shadow mode até provar que não erra.
- 02Invalidei meus próprios benchmarks ao encontrar vazamento entre os conjuntos de calibração e teste, e reposicionei o produto com base nisso.
- 03Requisições com tools, imagens ou que dependem da hora atual nunca saem do cache.
Stack
- Python
- FastAPI
- Redis
- Pydantic v2
- MinHash/LSH
- k6
- pytest