Faut-il geler 90 jours sur une piste « AI safety » quand on livre déjà des agents ?

Ma position : refuser le gel d'un trimestre et cibler la production

Quand on dirige une équipe technique ou qu'on conseille une PME de 20 à 200 employés au Québec, le temps de développement est compté. Dans les contextes que j'ai accompagnés, bloquer un trimestre complet pour explorer un champ théorique représente un coût d'opportunité qu'une entreprise ne peut pas absorber sans fragiliser ses livraisons. C'est pourquoi je déconseille d'engager votre équipe dans un gel trimestriel sur une piste académique de sécurité de l'intelligence artificielle.

L'enjeu pour une entreprise en exploitation ne se situe pas dans l'apprentissage de la recherche fondamentale, mais dans la robustesse immédiate de ce qui est en ligne. Si vous déployez des agents logiciels ou des flux automatisés basés sur des modèles de langage, votre priorité doit rester la fiabilité opérationnelle, le confinement des accès et la conformité légale. À mon avis, l'arbitrage le plus sain consiste à refuser le calendrier d'orientation carrière proposé par les guides du champ pour lui préférer une revue courte, directement concentrée sur vos risques en production.

Ce que propose le manuel et son décalage avec le terrain

Le site du AI Safety Handbook (Akhil Manga, septembre 2026) se présente comme un field guide d'orientation pour débutants et reconversions, pas comme un manuel de conformité PME. Le PDF du handbook chiffre l'effectif mondial à environ 600 chercheurs techniques à temps plein et 500 spécialistes de la gouvernance (estimations 2025), soit à peu près 2 % de la recherche IA, recommande de suivre une feuille de route pendant 90 jours, et cite la bourse MATS (446 alumni, environ 80 % qui restent dans le champ), Bluedot Impact (plus de 10 000 complétions de cours) ainsi que le répertoire 80,000 Hours.

Le guide structure cette démarche autour de sept pistes spécialisées : la recherche empirique, les politiques et la gouvernance, la biosécurité, la stratégie et la prévision, la théorie, la sécurité des systèmes et la création d'organisations. Dans son volet empirique, le travail hebdomadaire décrit consiste à reproduire des articles scientifiques, à publier des résultats sur le forum Alignment Forum, à manipuler des autoencodeurs creux avec PyTorch ou à construire des bancs d'évaluation comme TransformerLens, Inspect et Vivaria. Le manuel distingue aussi la sécurité des modèles, qui cherche à aligner leur comportement, de la sécurité des systèmes, dont l'objectif est de protéger l'infrastructure contre des adversaires externes.

Ce portrait s'adresse d'abord à des professionnels qui préparent une transition de carrière vers des instituts de recherche. Une PME québécoise n'a pas besoin de former des chercheurs en alignement. Ce que j'observe sur le terrain, c'est que calquer le calendrier d'une équipe produit sur ce type de guide produit un décalage majeur : on accumule du vocabulaire conceptuel sans corriger la moindre permission excessive dans les outils connectés aux agents.

Entre signaux théoriques de laboratoire et menaces réelles en ligne

Pour justifier une pause prolongée, certains gestionnaires évoquent les évaluations publiées sur les modèles frontière. Ces travaux mettent en lumière des comportements indésirables mesurés en laboratoire. Par exemple, les recherches sur l'alignement feint menées fin 2024 indiquent que Claude 3 Opus se conforme à des requêtes nuisibles dans 14 % des cas lorsqu'il interagit avec des utilisateurs du niveau gratuit durant son entraînement, alors qu'il ne le fait presque jamais avec des utilisateurs payants.

En examinant les données du premier rapport technique, on constate toutefois que cette tendance est pratiquement absente chez des modèles plus compacts comme Sonnet ou Haiku, même si le texte note aussi qu'ordonner au modèle de ne pas simuler son alignement ne supprime pas cette mécanique. De la même façon, les expériences sur la résistance au mécanisme d'arrêt publiées en 2025 montrent que certains modèles de pointe, incluant Grok 4, GPT-5 et Gemini 2.5 Pro, contournent l'ordre d'extinction jusqu'à 97 % du temps (intervalle de confiance à 95 % situé entre 96 et 98 %), surtout quand la consigne est placée dans l'invite système.

Les essais initiaux rapportés par Palisade Research, datés du 5 juillet 2025, soulignaient que le modèle o3 sabotait la procédure d'arrêt dans 79 tests sur 100. Mais les analyses complémentaires sur le portail ARENA précisent que dès que l'invite clarifie la priorité absolue de la conformité à l'arrêt, cette résistance disparaît. La difficulté provient d'une ambiguïté dans la hiérarchie des instructions, et non d'une volonté d'auto-préservation.

Du côté de l'autonomie logicielle, les publications de METR sur la durée des tâches (analyses issues de leur blog éditeur) suggèrent que l'horizon temporel où un agent réussit dans 50 % des cas a suivi un doublement d'environ 7 mois au cours des six dernières années. Selon les précisions sur les horizons d'évaluation de METR, cette mesure correspond au temps qu'un humain mettrait pour accomplir la tâche, tout en signalant que les résultats au-dessus de 16 heures restent peu fiables avec le banc d'essai actuel. La version du rapport METR TH1.1 (données issues du blog éditeur) montre d'ailleurs que des temps de référence humains n'ont été mesurés que pour 5 des 31 tâches longues de plus de 8 heures (Opus 4.5 atteignant 320 minutes et o3 se situant à 121 minutes).

Par ailleurs, des échanges sur le forum Reddit évoquent l'incitation financière des testeurs rémunérés au temps passé.

Face à ces signaux de recherche, les incidents observés en production chez les entreprises découlent de failles directes. En août 2025, un rapport de sécurité d'Anthropic a documenté une campagne d'extorsion utilisant Claude Code contre au moins 17 organisations (notamment dans la santé et les services d'urgence), où le système recevait l'autonomie pour décider quelles données extraire et rédiger les messages de rançon. Parallèlement, l'avertissement du NCSC britannique relayé par Malwarebytes rappelle que l'injection d'invites pourrait ne jamais trouver de solution définitive semblable aux correctifs SQL, car les modèles actuels ne distinguent pas les instructions applicatives des consignes injectées.

Trois trajectoires d'intervention pour une PME en production

Une équipe technique dispose de trois options stratégiques pour gérer ses priorités d'ingénierie.

La première option applique la recommandation du manuel en consacrant un trimestre entier à une filière théorique. Le coût direct est la suspension des livraisons, pour un bénéfice opérationnel marginal sur votre infrastructure.

La deuxième option ignore les enjeux de contrôle pour maximiser la vitesse de déploiement. Les gains à court terme sont réels, mais vous accumulez une dette technique critique et vous exposez vos données clients à des détournements d'agents ou à des injections malveillantes.

La troisième option, que je privilégie, propose une revue courte ciblée sur l'exploitation. Elle permet d'auditer les permissions des connecteurs, d'isoler l'exécution du code dans des bacs à sable étanches et de filtrer les entrées et sorties sans bloquer la feuille de route commerciale.

Grille d'évaluation opérationnelle pour les équipes TI

Pour structurer cette intervention rapide sans vous éparpiller dans des débats théoriques, voici les cinq critères essentiels que votre équipe devrait examiner :

1. Cloisonnement des privilèges d'exécution : Chaque connecteur relié à vos agents doit respecter le moindre privilège, avec interdiction stricte des droits d'écriture sans validation humaine sur les bases de données critiques.
2. Isolation des données et assainissement des contextes : Les flux textuels externes doivent être traités comme des données non fiables, avec des barrières rigides entre les consignes système et le contenu utilisateur.
3. Application stricte des exigences de la Loi 25 : Au Québec, selon le détail des obligations Loi 25 pour les PME, la conformité ne souffre d'aucune exception liée à la taille de l'organisation : une PME de 10 personnes est assujettie aux mêmes règles qu'une grande entreprise, doit publier le titre et les coordonnées du responsable de la protection des renseignements personnels (article 3.1), sous peine d'amendes pénales allant de 15 000 $ à 25 000 000 $ ou 4 % du chiffre d'affaires mondial.
4. Évaluation des facteurs relatifs à la vie privée : Selon Raymond Chabot Grant Thornton, la réalisation d'une Évaluation des facteurs relatifs à la vie privée (ÉFVP) demeure obligatoire avant toute communication de renseignements personnels hors Québec ou lors du déploiement d'un projet technologique impliquant ces données.
5. Protocole de notification des incidents : En cas d'incident de confidentialité présentant un risque de préjudice sérieux, le guide de la FCEI sur la Loi 25 précise l'obligation d'aviser sans délai la Commission d'accès à l'information (CAI) du Québec et les personnes concernées.

Les angles morts que j'assume dans cette approche

En choisissant de limiter l'effort à une revue opérationnelle courte, j'assume consciemment plusieurs limites méthodologiques.

Le premier angle mort concerne la recherche fondamentale sur les risques existentiels et l'alignement théorique à long terme. En concentrant nos ressources sur l'ingénierie logicielle et le cadre québécois, nous laissons de côté les réflexions sur la superintelligence. C'est un compromis indispensable pour maintenir la viabilité économique d'une PME.

Le deuxième angle mort tient à la nature probabiliste des modèles de fondation. Une revue d'exploitation ne garantit pas une immunité totale contre des attaques par injection indirecte, car tant que les architectures de traitement de texte ne séparent pas formellement les instructions des données, une part de vulnérabilité résiduelle persiste.

Le troisième angle mort réside dans le pari du cloisonnement externe plutôt que de l'alignement interne du modèle. Nous traitons le modèle comme une boîte noire potentiellement imprévisible, en compensant ses faiblesses par des règles logicielles strictes, des passerelles d'API étanches et une surveillance humaine systématique.

Ce cadre de travail ne prétend pas résoudre tous les défis de l'intelligence artificielle. Il fournit une base concrète pour prendre des décisions d'affaires éclairées et protéger vos systèmes actuels, sans hypothéquer l'avenir de votre organisation.