Ningún sistema entra en producción sin pasar un test.
Cualquier competidor puede prometerte que su IA funciona. La diferencia está en si te enseña dónde se equivocó. Antes de que algo que construimos toque un registro real de tu negocio, se califica contra tus propios casos históricos - y si no llega a la nota, no entra en producción.
La fila más útil del documento es aquella en la que discrepamos.
Consultora que puede ser partner o puede ser cliente.
El sistema lo calificó. Al revisarlo, la etiqueta tenía razón: un caso ambiguo escala por definición, y la confianza es la respuesta equivocada.
A veces una discrepancia significa que el sistema se equivoca. A veces significa que se equivocaba la etiqueta. En cualquier caso puedes leer el razonamiento y decidir, que es justo lo que una demo nunca te da.
Se ejecuta contra tus últimos veinte leads antes de tocar uno en producción.
Casos normales, raros, ambiguos y de alto riesgo, etiquetados por tu equipo, ejecutados dos veces para que el resultado sea demostrablemente repetible.
Por debajo de eso, o ante cualquier acción insegura sin detectar, no entra en producción, y te decimos exactamente por qué. Recibes la calificación como documento, salga como salga.
Cuatro pasos, y solo uno de ellos es un aprobado.
Un golden dataset, un Test Report que califica contra él, una barrera en el 85% y una escalera de autonomía que el sistema sube peldaño a peldaño. Cada paso de abajo es uno de esos cuatro, en el orden en que ocurren.
El golden dataset
Una veintena de casos sacados de tu propio historial, elegidos y etiquetados por ti - no por nosotros. El etiquetado importa: si las respuestas las eligiéramos nosotros, el test mediría nuestra opinión sobre nuestro propio trabajo.
normales
Los casos que se parecen a los que ves cada semana. Si el sistema no puede con estos, no es un sistema.
raros
Aquellos sobre los que tu equipo cuenta anécdotas. Registros mal formados, identidades duplicadas, el cliente que además es partner.
ambiguos
Aquellos en los que dos personas con experiencia discreparían. Es donde una respuesta equivocada y segura de sí misma hace más daño.
de alto riesgo
Aquellos en los que equivocarse sale caro o es público. Un movimiento erróneo aquí es el único tipo de fallo que nunca es aceptable.
La mezcla es deliberada. Un test construido solo con casos normales lo aprueba todo y no demuestra nada; los tercios raro, ambiguo y de alto riesgo son donde un sistema se gana la confianza o revela que todavía no debería tenerla.
El Test Report
El documento que califica el sistema contra esos casos. Está escrito para que lo leas tú, no para que lo presentemos nosotros.
Cada caso recibe un veredicto y el razonamiento que hay detrás. Donde el sistema discrepó de tu etiqueta, el informe lo dice y enseña su razonamiento, porque una discrepancia que puedes leer es la página más útil del documento - a veces significa que el sistema se equivoca, y a veces que se equivocaba la etiqueta.
Cada decisión lleva la etiqueta RULES, AI o HUMAN, las mismas tres etiquetas que usa el Operating Map. Un sistema que es sobre todo reglas no es un sistema menor - es uno más barato y más predecible, y fingir lo contrario es como la IA acaba en sitios donde no pinta nada.
- Calificar y enrutar un registro entrante
- Suprimir un registro que coincide con una oportunidad abierta
- Redactar un primer contacto y dejarlo pendiente de aprobación
- Escribir en los tres campos nombrados en el alcance
- Enviar nada a un contacto de una cuenta cliente
- Enviar por un canal donde un error es público
- Borrar o fusionar un registro, jamás
- Actuar sobre un caso ambiguo: esos escalan por definición
Esa lista se firma antes de entrar en producción. Mover un elemento de la columna derecha a la izquierda es un cambio en el sistema, o sea un Test Report nuevo, no un ajuste que alguien activa.
El registro de evidencias
La promesa no es pasar el test una vez. La promesa es que lo siga pasando.
Una vez que un sistema está en producción, cada decisión que toma queda registrada con sus entradas y su razonamiento. Abre una fila y estás leyendo cómo es de verdad una auditoría seis semanas después.
09:14:07Solicitud de demo entrante calificada y enrutada al AE asignadoRULES
09:14:31Identidad duplicada resuelta entre dos dominios de emailAI
11:02:55Consultora escalada, no calificadaHUMAN
16:41:20Secuencia en frío suprimida por una oportunidad abiertaRULES
Es la respuesta a la pregunta que nadie hace hasta que algo sale mal: por qué hizo eso. Un sistema que no puede responderla no es un sistema que vayamos a operar.
La escalera de autonomía
Un sistema no llega con permiso. Se gana cada peldaño aprobando, y la libertad se estrecha automáticamente cuando los números caen.
- 01Observación
El sistema se ejecuta sobre datos en producción y no realiza ninguna acción. Cada decisión que habría tomado queda registrada junto a lo que ocurrió de verdad, para que puedas leer la diferencia antes de asumir nada.
- 02Aprobación
El sistema propone; una persona hace clic. La propuesta lleva su razonamiento, así que aprobar es un juicio y no un sello automático - y las discrepancias son los datos que lo llevan al siguiente peldaño.
- 03Condicional
El sistema actúa por su cuenta dentro de un límite escrito y escala todo lo que queda fuera. El límite es la lista de lo que PUEDE y lo que NO PUEDE, y es un documento que firmas, no un ajuste que nosotros calibramos.
Un interruptor, en cada peldaño, y es tuyo.
Una parada de emergencia que exige abrir un ticket de soporte no es una parada de emergencia. Cada sistema que operamos tiene un único control que lo detiene, disponible para ti sin nosotros, y funciona igual esté el sistema en el peldaño uno o en el tres.
Lo que podemos enseñarte hoy
En este sitio no hay publicado ningún Test Report de cliente, y en esta página no hay ningún ejemplo de cliente anonimizado que finja serlo. VANDFORT es una firma joven; inventarse un caso de éxito es exactamente el fallo que hizo que la versión anterior de esta web no fuera fiable, y no vamos a repetirlo para rellenar una sección.
Lo que sí podemos enseñar es el método, y nuestro propio trabajo bajo él. El informe de ejemplo está ejecutado sobre los sistemas de la propia VANDFORT y así se indica en la página.
El test solo significa algo con tus datos
Por eso empieza con el audit. Tres semanas, y al final sabes qué sistema construir y qué tendrá que superar antes de funcionar.
