1.6 KiB
1.6 KiB
Roadmap (post-MVP)
- Training real: conectar los jobs de Azure ML a scripts de fine-tuning reales sobre los datasets registrados; regression LLM-as-judge en CI.
- NeMo Guardrails full: configuración Colang con KB embedding + dialog
rails (reintroducir
nemoguardrailsen requirements al integrarlo; hoy el engine es un stub por keywords configurable víaGUARDRAILS_NEMO_ALLOWED_KEYWORDS). - Autenticación: OAuth2/OIDC con MSAL para entornos Azure AD. Hoy los endpoints de approve/promote no exigen identidad (el "quién" es declarativo).
- OpenTelemetry: spans por nodo del grafo, métricas de violaciones por validador.
- Multi-tenant:
tenant_idaislado por registry, política y datos. - Evaluadores LLM-as-judge: complementar la evaluación por escenarios (ya implementada como gate de promoción) con un juez LLM que mida deriva de calidad, no solo violaciones de guardrails.
- UI de aprobación con SLA: cola Kanban, reasignación entre operadores, alertas cuando un HITL rebasa SLA.
- Persistencia migrable a Postgres + pgvector: requerido para alta disponibilidad multi-instance.
- Esquema de prompts mejorado: variables tipadas en system_prompt (Jinja-like), valores por entorno.
- Deployments: promoción de agentes validados a endpoints gestionados (Azure/AWS/GCP/on-prem) conservando políticas y auditoría.
Hecho (antes en este roadmap)
Promoción explícita draft → active vía aprobación— implementada:/api/promotions+ página Promotions con gate de evaluación por versión.Fallback LLM— implementado (LLM_FALLBACK_PROVIDER+FallbackLLMProvider).