L'humain dans la boucle est un choix de conception, pas une mention légale
Ajouter « vérifié par un humain » en bas de page ne change rien. Voici ce qu'il faut pour qu'une personne reste réellement responsable d'une décision assistée par IA.
Par l'équipe Maple Crew · · 4 min de lecture
La plupart des produits d'IA affirment garder un humain dans la boucle. Dans beaucoup d'entre eux, la boucle se résume à un bouton « Approuver » sous un résultat que l'utilisateur n'a aucun moyen pratique de contester. C'est une mention légale. Une vraie supervision humaine se construit dans le produit, et elle se voit dans des choix de conception précis.
Séparer la recommandation de la décision
Le système produit une recommandation. Une personne enregistre une décision. Ce sont deux objets différents, stockés séparément, et le second porte un nom et un motif. Dans Maple Insight, le résultat d'une évaluation est toujours présenté comme une recommandation à revoir. L'écran de décision est une étape distincte, remplie par une personne habilitée, avec une justification obligatoire.
Montrer les preuves, puis la conclusion
Un relecteur ne peut contester que ce qu'il peut examiner. Les données sources (les relevés bancaires, le rapport du bureau de crédit) et les conclusions évaluées (scores, mentions) doivent être visiblement distinctes à l'écran, et chaque conclusion doit renvoyer aux données qui la soutiennent. Si le relecteur doit croire le résultat sur parole, il ne relit pas.
Dire quand on ne sait pas
Une information manquante n'est pas un zéro, et ce n'est pas un dossier sans incident. Un système qui comble les trous en silence produit des résultats assurés sur des données minces. La réponse honnête est « données insuffisantes », avec la liste de ce qui manque, et un score retenu jusqu'à ce que les pièces arrivent.
Permettre de passer outre, et s'en souvenir
Un contrôle bloquera parfois un dossier légitime. L'analyste doit pouvoir désactiver un contrôle bloquant, mais seulement avec un motif écrit, et le contrôle en échec doit rester visible comme une alerte dans le résultat. Une dérogation qui laisse une trace est une fonctionnalité. Une dérogation qui disparaît est un risque.
Refuser les raccourcis
- Aucun accord automatique, aussi bon que soit le score.
- Aucun chiffre que le système ne peut pas justifier, comme une probabilité de défaut issue d'un modèle non calibré.
- Aucune caractéristique protégée parmi les données d'entrée. L'âge et le sexe ne sont jamais notés.
Aucun de ces choix n'est techniquement difficile. Ce sont des décisions de produit, et elles doivent être prises dès le départ, car elles façonnent le modèle de données et tous les écrans qui suivent.