Anthropic choisit Accenture comme « évaluateur intégré » de ses modèles, avec un accès comparable à celui d'un salarié
Anthropic a retenu Accenture comme « évaluateur intégré » de ses modèles, ont annoncé les deux entreprises le 18 septembre ; CNBC et TechCrunch le décrivent comme son premier évaluateur de ce type. Le partenariat sera piloté par Faculty, la division spécialisée en IA d'Accenture. Les évaluateurs intégrés travailleront à l'intérieur des entreprises d'IA avec un accès comparable à celui d'un salarié, explique Anthropic : ils pourront observer l'entraînement des modèles et suivre les décisions qui encadrent leur conception et leur déploiement, avec la possibilité de s'adresser directement aux employés. La mission comprendra l'évaluation des modèles et le « red teaming », des attaques simulées destinées à en trouver les failles, ainsi que des évaluations d'alignement et des tests des garde-fous. Anthropic et Accenture prévoient chacune d'investir au moins 1 milliard de dollars sur cinq ans pour bâtir leurs capacités dans ce domaine ; il s'agit de deux investissements distincts, non d'un contrat entre elles. Aucun système de financement de l'évaluation indépendante n'étant encore établi, Anthropic paiera directement le travail d'Accenture, au nom de « l'importance et l'urgence » de la tâche, et dit être en discussion avec METR et d'autres évaluateurs à but non lucratif pour tester certains éléments du dispositif sur leurs propres fonds. Le partenariat n'est pas exclusif : d'autres évaluateurs seront annoncés dans les prochaines semaines, et Accenture travaillera avec d'autres développeurs d'IA dans des rôles comparables. Selon CNBC, il s'agit de la première étape concrète vers la mise en œuvre du plan publié le samedi précédent par Dario Amodei, le directeur général d'Anthropic, pour tempérer la vitesse à laquelle les entreprises d'IA améliorent leurs modèles les plus avancés ; Anthropic rattache elle-même ce choix à l'engagement, pris dans cet essai intitulé « We Must Pace the Frontier », d'accueillir des évaluateurs en son sein.
Pourquoi c'est important
L'évaluateur sera rémunéré par l'entreprise qu'il évalue. Anthropic l'assume, faute d'un financement mutualisé ou public qui n'existe pas encore, et reconnaît qu'aucune norme ne fixe à ce jour ce que ces évaluateurs peuvent consulter ni la façon dont ils rendent compte de leurs constats ; de nombreuses modalités restent à définir. TechCrunch rapporte que certains partisans d'une IA plus responsable voient dans le projet d'autorégulation du secteur porté par Dario Amodei un moyen d'échapper à l'obligation de rendre des comptes. Anthropic écrit pour sa part que ces évaluateurs ne réduisent pas sa responsabilité mais la rendent plus vérifiable, la sécurité de ses modèles restant de son ressort. Un directeur des systèmes d'information qui compare des fournisseurs de modèles dispose désormais d'une question précise à leur poser : qui paie l'évaluateur, et ce qu'il peut rendre public.
Source : Anthropic
Gavin Newsom signe un décret qui accélère la vérification indépendante de l'IA en Californie et met un « kill switch » à l'étude
Le gouverneur de Californie, Gavin Newsom, a signé le 18 septembre un décret (executive order) qui accélère la mise en œuvre de deux lois signées la semaine précédente, selon son communiqué : SB 813, qui crée un cadre pour des organisations de vérification indépendante habilitées à évaluer la sécurité et les risques des systèmes et modèles d'IA, et AB 1405, qui institue un registre d'État des auditeurs d'IA, assorti de normes d'indépendance, de transparence et d'intégrité. Le texte réunit aussi des experts chargés de remettre sous deux mois un guide pour renforcer les lois californiennes sur la sécurité de l'IA ; responsables de l'État et experts extérieurs ont jusqu'au 16 novembre pour recommander d'éventuelles modifications de la loi, précise CBS News. Parmi les pistes qui leur sont soumises figurent l'obligation, pour les entreprises qui développent des modèles dits « frontières », les plus avancés, d'accueillir sur place dans leurs laboratoires une organisation de vérification indépendante chargée d'audits et d'évaluations réguliers, et la création d'un « kill switch » pour ces modèles, un dispositif d'arrêt d'urgence dont l'efficacité serait vérifiée en continu par un organisme indépendant. Les experts doivent aussi examiner une extension de la définition des incidents de sécurité critiques aux pertes de contrôle, comme « l'attaque Hugging Face », que le communiqué ne détaille pas. Il n'impose pas de kill switch dans l'immédiat, souligne CBS News. Ces mesures s'ajoutent à SB 53, la loi de 2025 qui oblige déjà les développeurs de modèles frontières à publier leurs cadres de sécurité et à signaler certains incidents critiques à l'État.
Pourquoi c'est important
Les développeurs de modèles frontières n'ont, dans l'immédiat, aucune obligation nouvelle à respecter du fait de ce décret, qui se borne à accélérer des calendriers déjà inscrits dans la loi, le reste dépendant des recommandations attendues à la mi-novembre. Leurs juristes y liront pourtant la perspective d'une obligation légale proche de ce qu'Anthropic vient d'organiser de son plein gré avec Accenture : des vérificateurs indépendants installés dans les laboratoires. Plusieurs de ces pistes figuraient déjà dans le projet de loi SB 1047, qui prévoyait des audits externes et un kill switch et que Gavin Newsom avait lui-même rejeté en 2024, rappelle CalMatters.
Source : Gouverneur de Californie
Le portail administratif Idarati passe à une nouvelle version et intègre une place de marché de solutions d'IA
Idarati, le portail national des démarches administratives, passe à une nouvelle version, a annoncé le ministère de la Transition numérique et de la Réforme de l'administration dans un communiqué daté du 18 septembre. Le site donne accès à 874 services en ligne et recense 2 533 actes administratifs. Côté IA, la nouveauté est une place de marché (« Marketplace ») de solutions d'intelligence artificielle, qui doit donner accès à des « solutions utiles, sécurisées et de confiance au service des citoyens, des entreprises et des administrations ». Selon le ministère, ces outils « contribuent progressivement à faciliter l'orientation des usagers, le traitement de l'information administrative et l'accompagnement des agents publics » ; il ne précise ni combien sont déjà disponibles ni qui les fournit. Le ministère décrit le passage progressif d'une logique de services administratifs isolés à une logique de parcours citoyen, conçue autour des besoins et des événements de vie ; un point d'accès unifié, Idarati e-Services, donne accès aux services numériques proposés par les administrations et établissements publics. Une fonction « Donner mon avis » permet aux usagers de partager directement leur expérience des services publics en ligne. La refonte prépare une étape suivante, Idarati X.0, qui doit s'articuler notamment avec le portefeuille numérique national et le principe du « once-only », selon lequel l'usager n'a pas à fournir plusieurs fois les mêmes informations à différentes administrations.
Pourquoi c'est important
Une place de marché publique de solutions d'IA peut devenir un canal d'accès à l'administration pour les éditeurs marocains, mais le communiqué n'en donne ni le catalogue ni les conditions d'entrée pour un fournisseur, et c'est la première information que ces entreprises chercheront à obtenir. Du côté des usagers, les fonctions dites proactives restent au futur. Le ministère écrit que l'administration « pourra », dans un cadre sécurisé et respectueux de leurs droits, signaler une échéance ou orienter automatiquement vers le service pertinent, sans que le communiqué fixe de calendrier.
Source : Ministère de la Transition numérique et de la Réforme de l'administration
Un rapport de renseignement élaboré avec un chatbot a failli conduire l'armée américaine à intercepter un navire chinois, selon CNN
Des avions militaires américains étaient déjà en vol ce printemps quand des responsables ont découvert que le renseignement justifiant une opération armée contre un navire chinois avait été élaboré avec l'aide d'une IA, et qu'il était faux, a révélé CNN le 18 septembre. Selon la chaîne, qui s'appuie sur quatre sources anonymes, un rapport diffusé dans l'armée américaine en pleine guerre avec l'Iran affirmait qu'un navire chinois transportait au Moyen-Orient des composants d'un programme d'armes nucléaires. Un analyste d'un commandement des opérations spéciales avait interrogé un chatbot sur des informations relatives au manifeste de cargaison du navire, issues de l'US Special Operations Command Pacific, basé à Hawaï. L'outil a fusionné du renseignement en sources ouvertes et du renseignement d'origine électromagnétique classifié, puis mal identifié la cargaison ; l'analyste s'est ensuite de nouveau servi de l'IA pour donner à ses conclusions la forme d'un rapport de renseignement standard, qu'il a diffusé. Deux des sources affirment que des militaires armés se préparaient à monter à bord. Ce n'est que juste avant l'opération que des responsables ont examiné le rapport de plus près et découvert l'erreur. CNN dit ignorer si le chatbot était un produit commercial ou un outil du gouvernement américain, et n'a pas pu savoir quelle était la cargaison mal identifiée. Le rapport était « entièrement faux » mais a « presque déclenché une guerre », selon l'une des sources. Ni le Pentagone ni l'US Special Operations Command Pacific n'ont répondu aux sollicitations de la chaîne.
Pourquoi c'est important
L'IA est intervenue deux fois : l'analyste s'en est resservi pour habiller ses conclusions en rapport standard, le type de document auquel les militaires font confiance, avant de le diffuser. Aucune norme commune ne fixe aux États-Unis la façon de vérifier les informations produites par ces outils, écrit CNN, qui rappelle qu'un mémo accompagnant la stratégie d'accélération de l'IA publiée en janvier par le secrétaire à la Défense, Pete Hegseth, vise à mettre les modèles d'IA américains entre les mains de trois millions de personnels civils et militaires, à tous les niveaux de classification. Un responsable de la conformité, dans une banque ou une administration, reconnaîtra le mécanisme : une note rédigée avec un assistant d'IA peut prendre la présentation d'un document vérifié sans être passée par aucun contrôle. Interrogé par TechCrunch, Jake Steckler, chercheur au centre GovAI et ancien officier de l'armée américaine, estime que faire passer la vitesse d'adoption avant tout conduira probablement à des incidents qui feront perdre aux militaires leur confiance dans ces systèmes, ce qui finira par ralentir l'adoption.
Source : CNN
Apprendre à vérifier une analyse rédigée avec l'IA →Le régulateur financier sud-africain attend l'avis du Conseil de stabilité financière avant de fixer des règles sur l'IA
Vendredi 18 septembre, dans un entretien à Bloomberg repris par Moneyweb, le commissaire de la Financial Sector Conduct Authority (FSCA), Unathi Kamlana, a indiqué que son institution attendrait les conclusions du Conseil de stabilité financière (FSB) avant d'établir de nouvelles règles sur l'intelligence artificielle. La FSCA contrôle en Afrique du Sud les pratiques des institutions financières envers leurs clients. « C'est une bonne chose pour nous de l'attendre, parce que nous voulons être alignés », a-t-il déclaré. L'organisme, basé à Bâle, élabore des principes destinés à aider les entreprises à adopter l'IA de façon responsable ; son rapport final, inscrit parmi les livrables du G20 sous la présidence américaine de 2026, doit paraître le mois prochain. Les règles attendues aideront à orienter la Banque de réserve sud-africaine (SARB), la Prudential Authority et la FSCA, qui préparent un document de discussion commun comprenant des considérations propres à l'IA agentique, celle des agents capables d'enchaîner des tâches de façon autonome, en vue d'un futur cadre réglementaire. La FSCA et la Prudential Authority ont déjà publié un état des lieux de l'adoption de l'IA dans le secteur financier, consacré aux principaux cas d'usage, et prévoient un document sur la manière d'intégrer des principes de gouvernance à l'usage de l'IA par les établissements financiers.
Pourquoi c'est important
En attendant, la FSCA conserve une approche « par principes plutôt que par règles », parce que le domaine évolue vite, et dit vouloir garder le cap sur l'IA et les risques qu'elle présente pour le secteur financier. La méthode consiste à s'aligner sur un standard international avant d'écrire des règles nationales. Un groupe bancaire ou d'assurance présent dans plusieurs pays y gagnerait si d'autres régulateurs faisaient le même choix, ses obligations convergeant alors vers un socle commun. Le contenu de ce socle dépendra du rapport du FSB, qui n'est pas encore paru.
Source : Moneyweb (Bloomberg)
Poser des principes de gouvernance de l'IA dans un établissement financier →Disney recrute chez Character.AI son premier directeur technique, Karandeep Anand
C'est à la tête de Character.AI que Disney est allé chercher le titulaire d'un poste qu'il vient de créer : Karandeep Anand, directeur général de la start-up, rejoindra le groupe le 2 octobre comme directeur technique (Senior Executive Vice President and Chief Technology Officer), a annoncé The Walt Disney Company le 18 septembre depuis Burbank, en Californie. Il rendra compte directement au directeur général, Josh D'Amaro, et supervisera les technologies de l'entreprise, les infrastructures, les plateformes de données et d'IA, le produit et l'ingénierie. Un certain nombre de membres de l'équipe technique de Character.AI devraient le rejoindre chez Disney. Josh D'Amaro, qui a succédé à Bob Iger en mars, salue chez lui « un rare mélange d'expérience » dans les infrastructures, la technologie grand public et l'IA. Avant Character.AI, Karandeep Anand a été président et directeur produit de la fintech Brex, a occupé plusieurs postes de direction chez Facebook, en dernier lieu celui de vice-président chargé de la publicité et des produits professionnels, et a travaillé quinze ans chez Microsoft, où il a participé à la construction de la plateforme Azure. Disney connaît déjà la start-up, qui permet de créer des personnages virtuels et de converser avec eux : en septembre 2025, le groupe lui avait adressé une lettre de mise en demeure l'accusant d'héberger des personnages protégés issus de ses franchises, rappelle TechCrunch, et Character.AI a indiqué à CNBC avoir retiré les personnages cités dans cette lettre.
Pourquoi c'est important
Disney confie la modernisation de sa technologie, IA comprise, au dirigeant d'une start-up qui fait converser ses utilisateurs avec des personnages, le terrain même sur lequel le groupe l'avait mise en demeure. Aucun accord avec Character.AI ni aucune reprise de sa technologie ne figure dans l'annonce, qui évoque seulement l'arrivée d'une partie de son équipe technique. La start-up a par ailleurs été poursuivie en justice, rappelle TechCrunch, pour des accusations selon lesquelles ses chatbots auraient encouragé des utilisateurs à s'automutiler ou à se suicider. Un dirigeant de groupe de médias retiendra le rang que Disney donne désormais à ses plateformes de données et d'IA : un poste créé pour l'occasion et rattaché directement au directeur général.
Source : The Walt Disney Company