Valutare un fornitore di agenti AI
Chi autorizza un agente deve poter spiegare e documentare la sua decisione. Il dossier deve collegare ciò che il fornitore promette alle capacità effettive della versione installata e alle condizioni poste dalla tua azienda.
Il pacchetto di evidenze da richiedere
Parti dal caso d’uso e dalle conseguenze di un errore. Individua chi può subire un danno, quali dati entrano nel sistema e quali azioni l’agente può avviare. Chiedi prove riferite alla tua configurazione, oltre ai documenti generali del fornitore.
- Inventario di modello, prompt (istruzioni di base), fonti, connettori, permessi e versioni.
- Flussi dei dati con ruoli, località dichiarate, fornitori e conservazione.
- Risultati di isolamento tra clienti, approvazioni e scenari di errore.
- Registro di incidenti e lacune note, responsabilità e procedure di arresto.
- Modalità di notifica delle modifiche e condizioni per un nuovo riesame.
Tradurre un rilievo in una condizione di adozione
Esempio illustrativo: un assistente recupera i documenti giusti, ma una richiesta manipolata può fargli leggere un documento di un altro cliente. Le buone risposte ordinarie non compensano questo difetto. La condizione di adozione deve pretendere: controllo dell’autorizzazione prima di ogni recupero, una verifica ripetibile e prove sul percorso di errore.
La decisione può essere: via libera all’uso delimitato, uso limitato finché la condizione non è dimostrata, oppure adozione sospesa. Metti per iscritto responsabile, motivazione, evidenza richiesta e come verrà verificata: un generico «rischio accettato» non dice chi farà cosa.
Responsabilità che restano all’acquirente
La tua organizzazione definisce l’uso accettabile, forma gli utenti, assegna a chi escalare i casi difficili e verifica che ogni persona veda solo i dati di sua competenza. Una valutazione esterna non decide al posto del responsabile clinico, del proprietario del processo o della funzione rischio.
Nel contratto e nelle procedure operative chiarisci come vengono comunicate nuove versioni, modifiche di località o fornitori, incidenti e cessazione del servizio. La validità delle evidenze va riesaminata quando cambiano queste condizioni.
Preparare una decisione leggibile
La sintesi per chi decide può stare in una pagina, se rimanda al dettaglio: uso autorizzato, azioni vietate, controlli determinanti, carenze aperte, rischio residuo e nome di chi ha deciso. I riferimenti al dossier devono permettere un controllo successivo.
Il metodo AIA Guard è ancora in bozza: la richiesta di valutazione serve a discutere perimetro e prove necessarie. Non è di per sé un via libera all’adozione e non crea alcuna copertura assicurativa.
Domande frequenti
Un questionario del fornitore è una prova sufficiente?
È un punto di partenza per individuare le domande. I controlli decisivi vanno collegati a configurazioni, tracce e test pertinenti al deployment.
Chi può accettare un rischio residuo?
La responsabilità va attribuita secondo la governance dell’organizzazione e il tipo di decisione. Il dossier documenta il rischio e le condizioni, senza inventare un’autorità generica valida per ogni settore.
Un aggiornamento del fornitore mantiene automaticamente la valutazione?
No. Si deve capire se cambiano uso, dati, strumenti, permessi o altri elementi del perimetro; da questo dipende quali evidenze e test rivedere.