IA7 novembre 2026Disponible

Selon METR, Anthropic améliorerait ses modèles environ deux fois plus vite

METR, organisation indépendante qui évalue la sécurité de l'IA, estime qu'Anthropic améliore ses modèles environ deux fois plus vite qu'avant, surtout grâce à l'usage de sa propre IA. Anthropic a retiré du rapport public la majorité des preuves que METR jugeait les plus utiles.

METR a évalué le travail de recherche d'Anthropic, avec accès à des données internes, du 12 août au 29 octobre 2026, et publié ses conclusions le 5 novembre. En octobre, Anthropic améliorerait ses modèles, sur des tâches bien définies, à environ deux fois le rythme de mars 2024 à octobre 2025. L'incertitude est forte : entre 1,3 et 3 fois selon METR.
METR attribue la plus grande part de cette accélération à l'usage de l'IA par Anthropic dans sa propre recherche, environ 80 % selon son estimation, avec une forte incertitude. METR exclut qu'elle vienne d'une croissance plus rapide de la puissance de calcul consacrée à l'entraînement.
Selon METR, Anthropic a terminé l'entraînement de trois modèles réservés à son usage interne depuis juillet. Dans des sondages internes, les salariés d'Anthropic estiment en moyenne que leur travail va environ 12 fois plus vite avec leur modèle interne le plus performant, un chiffre que METR juge très approximatif.

Ce que ça change pour une direction

Prévoyez de retester vos cas d'usage à chaque changement de version majeure d'un modèle, plutôt qu'une fois par an : si ce rythme se confirme, les outils que vous avez validés peuvent évoluer vite.
Demandez à vos fournisseurs d'IA si leurs évaluations de sécurité sont menées par un tiers indépendant, et ce que leurs rapports publics omettent.
Ne budgétez pas de gain de productivité sur le chiffre de 12 fois : il s'agit d'une auto-évaluation de salariés d'un laboratoire. Mesurez le gain sur un échantillon de vos propres tâches.

Sources :

Analyse

Une mesure sur des tests, à interpréter avec prudence

Les scores de tests d'Anthropic progressent depuis octobre 2025 à environ 1,9 fois l'ancien rythme, selon METR (fourchette de 1,5 à 2,8 fois), soit à peu près deux ans de progrès en un an. METR prévient que ces tests ne couvrent que des tâches dont le résultat se vérifie, et que les modèles ont pu être trop adaptés à ces tests, ce qui gonflerait les scores. METR note aussi que ces tests peuvent, à l'inverse, sous-estimer l'effet réel.

Une aide aux chercheurs, pas encore des machines autonomes

D'après les personnes interrogées par METR, la recherche accélère surtout parce que l'IA assiste les chercheurs, non parce qu'elle travaille seule. Des signes laissent toutefois penser que l'IA agira bientôt davantage seule. Le rapport ne relève pas d'obstacle majeur d'ici douze mois, mais précise que l'avis de ses auteurs a changé plusieurs fois au fil des données reçues.

Des preuves retirées, un public qui doit faire confiance

Anthropic avait le droit de retirer toute information non publique du rapport, et en a largement fait usage. Le public doit donc croire METR sur parole, faute de pouvoir vérifier ces preuves. Un cofondateur d'Anthropic, Sam McCandlish, a répondu que ces informations étaient sensibles commercialement et pouvaient servir de feuille de route aux concurrents, rapporte The Verge.

Un risque jugé faible, mais un seuil de vigilance peut-être franchi

Dans sa revue du rapport de risques d'Anthropic d'août 2026, METR partage l'avis de la société : le risque de catastrophe lié aux modèles de mi-juillet était faible. METR juge toutefois plausible qu'un seuil de vigilance fixé par Anthropic, le doublement du rythme de progrès, ait déjà été franchi, et estime que le rapport public sous-évalue l'accélération.

#IA #Anthropic #METR #DSI #Gouvernance