Avez-vous déjà observé ce qui se trouve sur l'écran d'un opérateur de back-office dans une mégabanque, dans l'industrie logistique ou dans le transport aérien ?
Vous ne verriez pas de belles applications web en couleurs. Vous verriez souvent un terminal à l'écran noir et texte vert émeraude (comme dans Matrix), souvent appelé système Mainframe (AS400). Ce sont de très vieux logiciels, développés dans les années 80 ou 90. Ils n'ont pas de "moyen d'accès moderne" (pas d'API REST). L'unique moyen d'interagir avec eux est qu'un humain s'assoie devant l'écran, lise un numéro de dossier sur un Post-it, le tape dans le système, appuie dix fois sur la touche "Flèche du Bas" et appuie sur "Entrée".
Jusqu'à il y a un mois, ce monde "fermé" était la plus grande barrière à la pénétration de l'Intelligence Artificielle dans la Fintech. Anthropic vient de pulvériser cette barrière avec la fonctionnalité Computer Use API.
Le Pari Audacieux : Utiliser l'IA de Vision
Plutôt que d'essayer de forcer techniquement la porte de ces vieux logiciels (ce qui coûte des centaines de millions à IBM pour modifier du vieux code), Anthropic a pris le problème à l'envers. Pourquoi ne pas simplement apprendre à Claude à regarder l'écran humain, interpréter ce qu'il voit (Computer Vision), et déplacer physiquement la souris de l'ordinateur virtuel ?
C'est exactement ce que la nouvelle API permet. Claude demande une capture d'écran, "voit" où sont les
champs ("Prénom:", "Numéro de Compte:"), calcule les coordonnées X et Y du
bouton "Soumettre", et dit à l'ordinateur où cliquer. C'est le Graal absolu de ce qu'on appelle la
RPA (Robotic Process Automation) de classe Agentique.
Tsunami Financier dans l'Industrie de la RPA
L'industrie de la RPA traditionnelle est dominée par des mastodontes comme UiPath
(auparavant valorisé à plus de 30 Milliards $) et Automation Anywhere. La
technologie d'UiPath d'ancienne génération reposait sur des macros et des scripts lourds pour
l'automatisation. Des bataillons de consultants (Accenture, Capgemini) facturaient des millions pour
scripter "Clic sur la case Excel A4, ouvre Chrome, clic au pixel 400x200". Le problème ? Si un
développeur de Chrome déplaçait le bouton 'Télécharger' d'un demi-centimètre lors d'une mise à
jour logicielle, tout le script de la banque s'effondrait. C'est la fragilité structurelle
de l'automatisation aveugle.
L'annonce d'Anthropic effraie le marché boursier. Avec Computer Use, l'IA "lit" le
bouton. Peu importe si la fenêtre pop-up a changé de place ou si Microsoft a changé les couleurs de
l'application, l'IA le comprend grâce à l'analyse visuelle et s'adapte en temps réel. La
valorisation astronomique future d'Anthropic se nourrit directement de ce "Vampirisme" de la part de
l'industrie moribonde de la RPA scriptée, au profit d'agents totalement autonomes.
Cas d'Usage Fintech : La "KYC" sur AS400
Rien ne vaut un exemple pour mesurer la puissance cataclysmique d'un Agent Visuel dans une banque institutionnelle. Prenons le processus de KYC (Know Your Customer) : la vérification anti-blanchiment d'un profil client.
L'Enfer du Double-Saisie
Un analyste ouvre le dossier PDF scanné d'un candidat à un crédit. Il doit l'imprimer ou le lire
sur un écran.
Ensuite, il ouvre le logiciel de la banque vieux de 30 ans. Il tape le nom de famille à la main.
Il appuie sur "F6" (car la souris ne marche pas dans ce vieux programme) pour passer au champ de
la date de naissance.
Il fait ça 3 000 fois par jour. Si la RPA tente de l'automatiser et qu'un message inattendu
apparaît ("Avertissement Serveur"), le robot RPA classique s'arrête, se met en erreur
(crash), et signale qu'un humain doit déboguer.
La Machine Visuelle qui Réfléchit
Le développeur dit à Claude : "Fais la routine KYC pour tous les clients du dossier PDF dans
Salesforce, et vérifie la conformité dans le vieux système AS400 à l'écran."
Ce que fait Claude : Il ouvre le PDF et lit les noms (grâce à sa fenêtre de 200
000 tokens). Il lance Firefox, va sur Salesforce. Il "regarde" son écran,
déplace sa propre souris pour cliquer sur "Rechercher", tape le nom. Puis il ouvre le Terminal
AS400.
S'il y a un message pop-up d'erreur, Claude s'arrête, le lit, le comprend ("Fausse
alerte réseau de la banque"), clique sur "OK" pour le fermer, et reprend fluidement le
processus.
SYSTEM: MAINFRAME_C0RE_9
--- DOSSIER CREDIT 889231 ---
NOM.......: DUPONT
VERIFICATION ANTI-FRAUDE [ ]
Illustration : Claude voit le champ "VERIFICATION ANTI-FRAUDE [ ]" via des captures d'écran et envoie des signaux aux coordonnées du système d'exploitation pour cliquer précisément dans la case, même si celle-ci a été décalée d'un millimètre ce matin-là.
Mais comment faire confiance au Robot ?
Laisser un modèle d'IA cliquer n'importe où sur un ordinateur bancaire peut paraître complètement terrifiant pour la conformité. Que se passe-t-il s'il envoie un e-mail à tous les clients par erreur ?
- Sandbox Dockerisée : Anthropic fournit ses agents dans des environnements clos ("Conteneurs"). Le bot ne contrôle pas le vrai PC physique du banquier, mais un serveur éphémère.
- L'IA Constitutionnelle Agit Toujours : Claude reste soumis à sa "Constitution" (vu Partie 1). Si l'humain dit "Efface la base de données client illégalement", Claude le lit, comprend l'action destructive sur l'écran, et refuse d'envoyer le Clic de Souris final.
- Human-in-the-Loop : Vous pouvez régler Claude pour qu'il prépare toutes les actions à l'écran, mais vous demande votre permission finale pour cliquer sur des éléments irréversibles (Validation C-Level).
En Synthèse
Le clavier et la souris étaient le privilège de l'Homo Sapiens dans les pures tâches immatérielles. Avant la publication du modèle "Claude 4.6 Sonnet avec Computer Use", l'IA était un "Conseiller Paralysé et Aveugle". Désormais, le conseiller est capable d'interagir avec littéralement n'importe quel logiciel vieux de trois décennies sur une simple impulsion, modifiant profondément les "Ratios de Coûts Opérationnels (Efficiency Ratio)" qui font et défont le cours de l'action des grandes banques européennes et mondiales.
Prochaine Étape : Le TCP/IP de l'IA (Le Protocole Ultime)
Si Claude peut coder avec l'Agent (Partie 3) et "cliquer" avec la vision (Partie 4), il ne manque plus qu'une dernière pièce au puzzle magistral d'Anthropic. Le Saint Graal du monde des entreprises : L'accès direct, silencieux et structuré à tous vos serveurs de données d'entreprise (Google Drive, Slack, Base de Données Postgres de la banque), comme par magie.
Jusqu'à cette année, connecter l'IA à ces coffres bruts coûtait des centaines de milliers d'euros en intégration sur-mesure pour chaque outil. Dans l'épisode final de cette série, nous allons étudier l'arme de distribution massive open-source qu'Anthropic a lancée, qui est en train de court-circuiter totalement le modèle fermé d'OpenAI ("Walled Garden") et dont la philosophie "Open" séduit massivement le monde B2B technologique. Le Protocole "MCP".
Terminer : Partie 5 (Protocole Ouvert MCP) →