Évaluation d’un agent IA : les étapes, du périmètre à la décision
Le processus proposé dit clairement qui fait quoi : ce que le candidat prépare, ce que le réviseur vérifie et ce qui reste à l’organisation.
Étapes, responsabilités et livrables
Le processus ne transforme pas une pile de documents en attestation. Chaque étape laisse un document relisible et une limite explicite.
| Étape | Candidat | Réviseur | Résultat |
|---|---|---|---|
| 1. Cadrage | Décrit l’usage, la version, les données, les outils et les exclusions | Vérifie la précision et les zones hors périmètre | Périmètre accepté ou à corriger |
| 2. Preuves | Fournit l’index, les configurations, les journaux anonymisés et les tests | Vérifie l’origine, l’environnement et la complétude | Inventaire des preuves et lacunes |
| 3. Vérification | Met à disposition un environnement autorisé | Exécute les parcours, les échecs et les tests adverses déclarés | Résultats reproductibles et registre des constats |
| 4. Décision | Propose des corrections et des preuves de clôture | Examine les blocages, les limites et l’indépendance | Décision écrite proposée, ou refus documenté |
Corriger sans effacer l’historique
Une correction associe le constat initial, la modification apportée, le responsable, la nouvelle preuve et le nouveau test. Clore un constat ne signifie pas que le risque disparaît hors du périmètre ou dans une version ultérieure.
Les défauts critiques restent visibles dans la décision jusqu’à ce que le nouveau test démontre le comportement attendu. Une déclaration du fournisseur sans journal ni essai reproductible ne suffit pas.
Une décision indépendante, et ses limites
Le réviseur qui rend la décision ne doit pas être la personne qui a configuré les protections examinées. Les conflits d’intérêts, l’échantillon, les exclusions, les risques résiduels et les preuves insuffisantes font partie du dossier de décision.
L’organisation cliente garde sa responsabilité : adoption, exploitation, surveillance et repli. Le processus proposé ne remplace ni une analyse juridique, ni une validation clinique, ni une décision d’assurance.
Réexamen
Les changements importants sont évalués avant toute réutilisation du résultat. Le nouveau test vise le contrôle modifié, les parcours dépendants et les conséquences d’autorisation. Une revue trimestrielle vérifie en plus que le périmètre déclaré reste vrai.
Questions fréquentes
Qui choisit les cas de test ?
La sélection est documentée. Le candidat décrit la population ; le réviseur vérifie les cas représentatifs, limites et adverses dans un environnement autorisé.
Que se passe-t-il après un constat critique ?
La décision est bloquée. Le candidat corrige, apporte une nouvelle preuve, et le comportement concerné est retesté.
Le processus approuve-t-il l’usage en production ?
Non. Il fournit une base documentée et limitée. La décision d’adopter et d’exploiter reste à l’organisation.