Problema
La mayoría de integraciones de LLM se construyen como thin wrappers alrededor de APIs de modelos — sin control de costos, sin observabilidad, sin garantías transaccionales. Cuando estos sistemas fallan o gastan de más, no hay forma estructurada de entender por qué.
Solución
Un backend de LLM orientado a producción diseñado alrededor de corrección y claridad operativa. La plataforma trata /chat como la única ruta de escritura autorizada, aplica integridad transaccional en cada solicitud y rastrea costos, latencia y comportamiento del proveedor mediante observabilidad estructurada.
Capacidades clave:
- Arquitectura agnóstica al proveedor compatible con OpenAI y AWS Bedrock mediante un puerto unificado
- Routing inteligente consciente de ML entre proveedores basado en costo y complejidad
- Reintentos con backoff exponencial y fallback de salto único en el límite del proveedor
- Logging JSON estructurado con correlación de solicitudes y eventos del ciclo de vida del proveedor
- Análisis de costos offline sobre eventos de uso — sin acoplamiento a facturación
- Cache de respuestas Redis para solicitudes sin streaming
- Endpoints de inspección de conversaciones de solo lectura
- Baseline de CI con suite pytest determinista y validación de compilación Docker
Arquitectura
La plataforma sigue un diseño estrictamente en capas: la capa API no tiene acceso a BD, ChatService no tiene semántica HTTP, y la lógica del proveedor está completamente aislada detrás de un contrato de puerto. Esta separación asegura que los fallos del proveedor nunca corrompan datos de negocio y que la observabilidad sea no invasiva en la ruta de escritura.
Resultado
Un backend de referencia que demuestra cómo se deben integrar cargas de trabajo de LLM en entornos de producción — con límites operacionales explícitos, conciencia de costos y disciplina arquitectónica.