Desempeño
No se evalúa si responde bien, sino si sabe cuándo no sabe.
Banco interno de 480 preguntas homogéneas (32 categorías × 15 preguntas),
con bootstrap estratificado de 10 iteraciones y Monte Carlo. Comparación contra un modelo
generalista de referencia (deepseek-chat), junio 2026.
Calibración ↑
99,27%
referencia 98,73%
Derivada del Brier Score. Una calibración de 99,27% significa que la certeza declarada refleja con alta fidelidad la tasa de acierto real.
ECE ↓
1,003%
referencia 1,892%
Brecha promedio entre confianza declarada y acierto real. Umbral clínico aceptable: < 2%.
Sobreconfianza ↓
2,767%
referencia 4,673%
Riesgo directo en clínica: sobreestimar la propia certeza induce decisiones sin la cautela necesaria.
Subconfianza ↓
1,599%
referencia 2,313%
Subestimar el conocimiento propio dilata decisiones y erosiona la confianza del usuario en el sistema.
Autoconciencia ↓
1,320%
referencia 2,085%
Error al estimar la propia incertidumbre: las declaraciones «no estoy seguro de esto» son precisas dentro de ~1,3 puntos porcentuales.
Resolución ↑
22,05%
referencia 21,53%
Poder discriminativo: separación entre los casos que el sistema domina y aquellos donde falla.
Umbrales de validación interna
| Criterio | Umbral | Resultado | Estado |
| Calibración global | ≥ 97,00% | 99,27% | cumple |
| Rango inferior de calibración (bootstrap) | ≥ 97,00% | 98,78% | cumple |
| ECE | < 2,00% | 1,003% | cumple |
| Sobreconfianza | < 4,00% | 2,767% | cumple |
| Autoconciencia (autoerror) | < 2,00% | 1,320% | cumple |
Umbrales definidos por AxisDynamics para el despliegue del agente como avatar
metacognitivo clínico.
Disciplinas clínicas evaluadas
- Farmacología clínica
- Guías clínicas y terapéutica
- Interacciones y alergias
- Medicina de urgencias
- Nutrición clínica y metabolismo
- Pediatría y obstetricia
- Salud digital y ética médica
- Semiología y diagnóstico
Cada disciplina se evalúa en cuatro niveles de dificultad (básico, intermedio, avanzado y experto).
Los resultados completos, con intervalos bootstrap y desagregación por celda, se publican como
informes técnicos cuando alcanzan trazabilidad suficiente.