31 lines
1.6 KiB
Markdown
31 lines
1.6 KiB
Markdown
# Roadmap (post-MVP)
|
|
|
|
- **Training real**: conectar los jobs de Azure ML a scripts de fine-tuning
|
|
reales sobre los datasets registrados; regression LLM-as-judge en CI.
|
|
- **NeMo Guardrails full**: configuración Colang con KB embedding + dialog
|
|
rails (reintroducir `nemoguardrails` en requirements al integrarlo; hoy el
|
|
engine es un stub por keywords configurable vía
|
|
`GUARDRAILS_NEMO_ALLOWED_KEYWORDS`).
|
|
- **Autenticación**: OAuth2/OIDC con MSAL para entornos Azure AD. Hoy los
|
|
endpoints de approve/promote no exigen identidad (el "quién" es declarativo).
|
|
- **OpenTelemetry**: spans por nodo del grafo, métricas de violaciones por validador.
|
|
- **Multi-tenant**: `tenant_id` aislado por registry, política y datos.
|
|
- **Evaluadores LLM-as-judge**: complementar la evaluación por escenarios
|
|
(ya implementada como gate de promoción) con un juez LLM que mida deriva
|
|
de calidad, no solo violaciones de guardrails.
|
|
- **UI de aprobación con SLA**: cola Kanban, reasignación entre operadores,
|
|
alertas cuando un HITL rebasa SLA.
|
|
- **Persistencia migrable a Postgres + pgvector**: requerido para alta
|
|
disponibilidad multi-instance.
|
|
- **Esquema de prompts mejorado**: variables tipadas en system_prompt
|
|
(Jinja-like), valores por entorno.
|
|
- **Deployments**: promoción de agentes validados a endpoints gestionados
|
|
(Azure/AWS/GCP/on-prem) conservando políticas y auditoría.
|
|
|
|
## Hecho (antes en este roadmap)
|
|
|
|
- ~~Promoción explícita draft → active vía aprobación~~ — implementada:
|
|
`/api/promotions` + página Promotions con gate de evaluación por versión.
|
|
- ~~Fallback LLM~~ — implementado (`LLM_FALLBACK_PROVIDER` +
|
|
`FallbackLLMProvider`).
|