Evaluación de IA

Evaluá el modelo general configurado en LLM / AI con reglas fijas antes de usarlo en el panel. Disponible desde Control Panel 0.6.2.

Qué se evalúa

Diez niveles para tres usos: asistente de voz, coding y workflow. En voz se evalúan razonamiento, respuestas y uso de herramientas; no reconocimiento de audio ni calidad de la voz generada.

Elegí la suite y ejecutá

Siempre se usa el modelo general de LLM / AI, mediante su conexión API. Para evaluar otro modelo, cambialo en Settings. Podés validar todas las suites o sólo voz, coding o workflow. Una pasada ejecuta 30 casos para todas o 10 para una; tres repeticiones ejecutan 90 o 30, respectivamente. La configuración y los límites quedan fijados al iniciar. Las llamadas usan tu proveedor y consumen su cuota.

Interpretá la evidencia

Revisá el nivel alcanzado por cada uso, los criterios de cada caso y la traza de herramientas. El historial y la exportación permiten comparar corridas. Los resultados mostrados en las capturas de la web son ilustrativos y no certifican el rendimiento de ningún modelo.

Análisis con Harness²

El análisis opcional usa Harness² de Google Research para proponer cambios en las instrucciones y la organización del harness. Requiere Python 3.12 o 3.13. Las variantes se contrastan con casos reservados; el análisis no modifica los pesos del modelo ni aplica cambios a tus asistentes automáticamente.