Agent Lab, versions et tests A/B

L’appel test navigateur, c’est vous qui jouez l’appelant, une fois. Pour vérifier dix situations après chaque changement, il faut autre chose. Agent Lab fait appeler votre agent par des appelants simulés, plusieurs fois, et vérifie ce qui doit se passer. Sur les vrais appels d’un client, les tests A/B comparent ensuite deux versions.

Agent Lab, en bref

• Agent Lab est l’onglet « Test » de l’éditeur. Il est activé par organisation : si vous ne voyez pas cet onglet, demandez-le à votre contact Manivox.
• Un test, c’est un appelant avec un objectif, ce qu’il sait, et ce qui doit se passer.
• Chaque test est joué plusieurs fois, car un même appel peut se dérouler différemment.
• Vos systèmes ne sont pas touchés : les outils reçoivent des réponses simulées, ou celles que vous écrivez.
• Chaque exécution est facturée à vos tarifs de modèle de langage. Le prix est affiché avant de lancer ; rien ne s’exécute avant que vous confirmiez.

Écrivez votre premier test

1. Onglet « Test », « Ajouter des tests », « Écrire un test soi-même » : « L’écrire moi-même ».
2. Remplissez « Titre », « Ce que veut l’appelant », « Qui appelle » et « Ce que sait l’appelant ». Seuls les faits listés seront donnés ; pour le reste, l’appelant simulé invente. Marquez un fait « ne le sait pas » pour voir ce que fait l’agent sans lui.
3. « Ce qui doit se passer » : « Ajouter une règle », puis choisissez-la dans la liste.
4. Pour chaque règle, gardez « Doit réussir » sur ce qui est vraiment critique.

Le deuxième et le troisième test provoquent une panne, sans rien casser :

• Un outil qui échoue : dans « Ce que vos outils vont répondre », choisissez l’outil d’enregistrement de votre scénario, puis « Échouer avec… » et un court message d’erreur.
• Un transfert qui échoue : « Résultat du transfert » : « Pas de réponse ».

Lancez et lisez

1. Enregistrez l’agent : Agent Lab teste le dernier état enregistré, qu’il appelle « ce brouillon ».
2. « Lancer les tests sur ce brouillon ». Une fiche résume l’exécution : le nombre de tests, « Tentatives » (gardez 3), « Vos outils répondent » (« Simulé — rien n’atteint vos systèmes en ligne ») et le « Total estimé ». Lancez.
3. Chaque test reçoit un verdict : « Réussi à chaque fois », « Réussi parfois » ou « Échoué ». Un carré par tentative : vert, rouge, ou violet quand l’appelant simulé est sorti de son rôle (jamais compté contre votre agent).
4. Sur un échec, « Ouvrir la trace » montre la conversation et la phrase exacte où la règle a échoué.

« Réussi parfois » n’est pas une réussite : chez un client, cela veut dire un appel raté de temps en temps. Corrigez jusqu’à « Réussi à chaque fois ».

Suggérer une correction

Sur un test en échec, « Suggérer une correction » lance le Prompt Doctor. Il propose une petite modification des instructions d’une étape, puis rejoue les tests en échec et ceux qui doivent continuer à réussir.

• Lisez la modification comme celle d’un collègue : « Pourquoi », puis le texte retiré et ajouté.
• « Accepter comme nouveau brouillon » l’applique à l’éditeur. Rien ne passe en ligne.
• « Rejeter » l’écarte ; « Réessayer avec une note » lui dit quoi faire autrement.
• « Rien à changer » veut dire que la correction est ailleurs : une route, un outil, la base de connaissances.

Comparer deux versions

Dans l’« Historique des versions » :

• « Comparer à la version live » montre ce qui a changé depuis la version en ligne (leçon 6).
• « Comparer des versions… » compare deux versions quelconques : « Version A », « Version B », puis « Comparer ».

Chez un client, la comparaison propose aussi « Rejouer des appels passés sur cette version » : de vrais appels rejoués sur la nouvelle version, pour voir où elle se comporte autrement.

Les tests A/B, sur les vrais appels

Un test A/B répartit les appels entrants entre la version en ligne et une autre version enregistrée. Il se lance chez un client, sur un agent qui reçoit des appels : votre compte de formation n’a pas de numéro.

1. « Historique des versions », « Lancer un test A/B ». Le bouton n’apparaît qu’une fois une version en ligne.
2. « A — Champion (en ligne) » : la version actuelle. « B — Challenger » : la version à essayer.
3. « Répartition du trafic » : commencez petit, par exemple 20 % sur B.
4. Gardez « Un même appelant obtient toujours la même version » coché.
5. Facultatif : « Arrêter le (facultatif) » ou « Arrêter après N appels (facultatif) ». La fin d’un test ne met jamais un gagnant en ligne : c’est vous qui décidez.
6. « Lancer le test ».

Les résultats sont dans les statistiques de l’agent, onglet « Tests A/B », « Voir les résultats » : appels, appels terminés, durée moyenne, score de qualité, objectifs atteints (vos KPIs), transferts, coût par appel. Pour garder la meilleure version : « Mettre B en ligne et terminer ». « Arrêter le test » renvoie immédiatement tous les appels vers la version en ligne.

Vérifiez

Point d’étape

Le canevas n’a pas changé. Si votre organisation a Agent Lab, votre agent a trois tests, tous « Réussi à chaque fois ». Sinon, passez les mêmes situations à la main avec l’« Appel test navigateur », en simulant « Pas de réponse » pour le transfert.