Benchmark de Madurez — AI Agents

El desafío

Construir el motor del benchmark — la lógica que procesa las respuestas, calcula la posición del operador, genera el output personalizado y alimenta el dataset agregado.

El benchmark mide cinco dimensiones:

Visibilidad cross-layer: ¿tienen una vista unificada de energía, cooling y workloads?

Atribución de fricción: ¿en qué interfaz entre capas perciben más pérdida de capacidad?

Latencia de coordinación: cuando cambia el workload, ¿qué tan rápido se ajustan cooling y energía?

Auto-cuantificación: ¿saben cuánta stranded capacity tienen?

Bloqueantes: si supieran dónde está el problema, ¿qué les impediría resolverlo?

El motor debe además implementar la lógica de rebalanceo dinámico: al inicio el benchmark se calibra 100% con datos públicos; a medida que acumulan respuestas, los datos primarios aumentan su peso progresivamente. Esa lógica de mezcla tiene que ser dinámica, no un ratio fijo.

Entregables esperados

Sistema de benchmark funcional con las cinco dimensiones implementadas

Lógica de scoring y percentiles por dimensión

Output personalizado por operador: posición en percentil, perfil cualitativo de su fricción principal, descripción de qué hacen distinto los operadores del cuartil superior

Motor de rebalanceo dinámico público/primario con lógica documentada

Base de datos que almacena respuestas de forma anónima y las agrega al dataset

Endpoint que genera el input para el PDF del Proyecto 5

Criterio de éxito

Un operador completa el benchmark en menos de 10 minutos y recibe un output que le dice algo que no sabía sobre su posición relativa — específico, no genérico. El sistema almacena su respuesta y la incorpora al dataset agregado sin exponer datos individuales.