VI. Coordination, erreurs et contrôle : qui tient les commandes ?
| Situation | Résultat |
|---|---|
| Une étape fiable à 95 % | Sur 5 étapes enchaînées, la tâche entière réussit environ 3 fois sur 4. |
| La même fiabilité sur 20 étapes | La tâche entière ne réussit plus qu'environ 1 fois sur 3. |
| Une étape fiable à 99 % | Sur 20 étapes, la tâche réussit environ 4 fois sur 5. |
| Ce que cela montre | Plus la chaîne est longue, plus chaque maillon doit être solide. (Illustration de calcul, pas une mesure de la fiabilité réelle des agents.) |
| Moment | Rôle de l'humain |
|---|---|
| Au départ | Il fixe l'objectif et ce qu'est un bon résultat. |
| Avant une action irréversible | Payer, envoyer, supprimer, publier : l'agent doit demander l'accord humain. |
| Pendant le travail | Un vérificateur indépendant, qui n'utilise pas les mêmes informations que celui qui produit, contrôle les résultats. |
| À l'arrivée | L'humain relit et valide. Un agent peut déclarer réussie une tâche qui ne l'est pas. |
| Principe | Ce qu'il signifie |
|---|---|
| La redondance | Plusieurs couches de protection, pour qu'une erreur isolée ne mène pas à la catastrophe. |
| La liste de contrôle | Des étapes vérifiées une à une, toujours dans le même ordre. |
| La boîte noire | Chaque action de l'agent est enregistrée, pour comprendre après coup ce qui s'est passé. |
| Le retour d'expérience | Chaque incident est signalé et analysé, pour ne pas se reproduire. |
| Le bouton d'arrêt | L'humain peut interrompre l'agent à tout moment. |
VI.1 Quand une erreur en entraîne une autre : la propagation en chaîne
Dans une organisation d'agents, chaque agent travaille à partir de ce que les autres lui transmettent. Le chercheur ramène une mauvaise source, l'analyste raisonne dessus, le rédacteur la met en forme. Chaque étape ajoute de la confiance à une base fausse, et le résultat final est une réponse fausse, mais cohérente. Plus la chaîne est longue, plus l'origine de l'erreur devient difficile à retrouver. Anthropic le reconnaît dans sa publication de 2025 : chez les agents, les erreurs s'accumulent, et une petite défaillance peut faire dérailler toute la tâche.
VI.2 Qui contrôle l'ensemble, et jusqu'où l'humain garde-t-il la main ?
Plus le système est autonome, plus le contrôle doit être organisé. L'humain ne peut pas vérifier chaque étape ; il doit donc choisir où intervenir : au départ, avant toute action irréversible, et à l'arrivée. Un agent peut vérifier le travail d'un autre, mais un système peut aussi reproduire sa propre erreur si tous les contrôles utilisent les mêmes informations. (Notre propre méthode en est une illustration modeste : cinq voix travaillent, un humain arbitre et valide chaque chapitre.)
VI.3 S'inspirer de la sûreté du nucléaire et de l'aviation
En octobre 2026, David Robinson, ancien responsable des rapports de sécurité d'OpenAI, a appelé les laboratoires d'IA à fonctionner comme des centrales nucléaires ou des aéroports : avec plusieurs couches de protection, pour qu'une erreur humaine, inévitable, ne mène pas à la catastrophe. Ces secteurs ne sont pas sûrs parce qu'ils ne se trompent jamais, mais parce qu'ils ont appris à rattraper leurs erreurs avant qu'elles ne deviennent graves.
La question n'est donc plus seulement : « Que peut faire une organisation d'IA ? » Elle devient : « Qui peut l'arrêter lorsqu'elle se trompe ? »
VI. Coordination, errors and control: who is in charge?
| Situation | Result |
|---|---|
| A step that is 95% reliable | Over 5 chained steps, the whole task succeeds about 3 times out of 4. |
| The same reliability over 20 steps | The whole task succeeds only about 1 time in 3. |
| A step that is 99% reliable | Over 20 steps, the task succeeds about 4 times out of 5. |
| What this shows | The longer the chain, the stronger each link must be. (A calculation for illustration, not a measure of the real reliability of agents.) |
| Moment | Role of the human |
|---|---|
| At the start | The human sets the goal and what a good result looks like. |
| Before an irreversible action | Paying, sending, deleting, publishing: the agent must ask for human approval. |
| During the work | An independent checker, which does not use the same information as the one producing the work, verifies the results. |
| At the end | The human reviews and validates. An agent can declare a task successful when it is not. |
| Principle | What it means |
|---|---|
| Redundancy | Several layers of protection, so that an isolated error does not lead to disaster. |
| The checklist | Steps verified one by one, always in the same order. |
| The black box | Every action of the agent is recorded, to understand afterwards what happened. |
| Learning from experience | Every incident is reported and analyzed, so that it does not happen again. |
| The stop button | The human can interrupt the agent at any time. |
VI.1 When one error leads to another: chain propagation
In an organization of agents, each agent works from what the others pass on to it. The researcher brings back a bad source, the analyst reasons on it, the writer puts it into shape. Each step adds confidence to a false basis, and the final result is an answer that is wrong, but coherent. The longer the chain, the harder it becomes to trace the error back to its origin. Anthropic acknowledges this in its 2025 publication: with agents, errors accumulate, and a small failure can derail the whole task.
VI.2 Who controls the whole, and how far do humans stay in charge?
The more autonomous the system, the more organized control must be. Humans cannot check every step; they must therefore choose where to step in: at the start, before any irreversible action, and at the end. One agent can check another's work, but a system can also repeat its own error if all its checks use the same information. (Our own method is a modest illustration: five voices work, one human arbitrates and validates each chapter.)
VI.3 Learning from nuclear and aviation safety
In October 2026, David Robinson, formerly in charge of safety reports at OpenAI, called on AI labs to operate like nuclear power plants or airports: with several layers of protection, so that a human error, which is inevitable, does not lead to disaster. These sectors are not safe because they never make mistakes, but because they have learned to catch their errors before they become serious.
The question is therefore no longer only: "What can an organization of AIs do?" It becomes: "Who can stop it when it goes wrong?"