La nouvelle fonctionnalit� de cr�ation de fichiers de Claude comporte des risques de s�curit� importants

La nouvelle fonctionnalit� de cr�ation de fichiers de l'assistant d'IA Claude comporte des risques de s�curit� importants
mais les mesures de protection propos�es par Anthropic sont jug�es insuffisantes

L'IA Claude d'Anthropic dispose d'une nouvelle fonctionnalit� permettant de cr�er et d��diter des fichiers. Cette avanc�e offre plus de flexibilit� et de capacit�s aux utilisateurs, mais elle introduit des failles de s�curit� critiques. Elles peuvent permettre l�injection de contenu nuisible, l��l�vation de privil�ges ou l�ex�cution de code sans que l�utilisateur s�en aper�oive. Anthropic a mis en place des environnements isol�s (sandbox) pour limiter ces risques et appelle les utilisateurs � surveiller les fichiers g�n�r�s et les interactions avec l�IA. Mais les experts estiment que ces mesures sont insuffisantes et accusent Anthropic de d�l�guer la s�curit� aux utilisateurs.

Jusqu'� pr�sent, Claude ne pouvait fournir que des r�ponses textuelles et des artefacts int�gr�s � l'application, mais il ne pouvait pas cr�er ni modifier de fichiers. Anthropic vient d'ajouter une fonctionnalit� � Claude qui lui permet de cr�er et de modifier des formats de fichiers courants, notamment des feuilles de calcul Excel, des documents, des pr�sentations PowerPoint et des fichiers PDF, sans quitter l'exp�rience Web Claude.ai ou l'application de bureau.

Claude a d�sormais acc�s � un environnement informatique priv� qu'il utilisera pour �crire et ex�cuter du code afin de cr�er les fichiers et les analyses dont vous avez besoin. Cette nouvelle fonctionnalit� de cr�ation de fichiers est en cours de d�ploiement en avant-premi�re pour les utilisateurs des plans Claude Max, Team et Enterprise. Les utilisateurs de Claude Pro b�n�ficieront �galement de cette nouvelle fonctionnalit� dans les semaines � venir.

Bien que cette fonctionnalit� puisse �tre pratique pour les utilisateurs de Claude, la documentation d'assistance de l'entreprise avertit qu'elle peut � mettre vos donn�es en danger � et explique en d�tail comment l'assistant d'IA peut �tre manipul� pour transmettre les donn�es des utilisateurs � des serveurs externes.

Le probl�me de s�curit� vient du fait que la fonctionnalit� donne � Claude l'acc�s � un sandbox, qui lui permet de t�l�charger des paquets et d'ex�cuter du code pour cr�er des fichiers. � Cette fonctionnalit� donne � Claude un acc�s � Internet pour cr�er et analyser des fichiers, ce qui peut mettre vos donn�es en danger. Surveillez attentivement les chats lorsque vous utilisez cette fonctionnalit� �, explique Anthropic dans son annonce sur son blogue.

Anthropic d�l�gue la s�curit� aux utilisateurs de son assistant Claude

Dans la documentation, Anthropic explique qu'un acteur malveillant manipulant cette fonctionnalit� pourrait potentiellement � ajouter discr�tement des instructions via des fichiers externes ou des sites Web � qui manipulent Claude � pour que l'assistant lise des donn�es sensibles � partir d'une source de connaissances connect�e � claude.ai et utilise l'environnement sandbox pour effectuer une requ�te r�seau externe afin de divulguer les donn�es �.

Il s'agit d'une attaque par injection de prompt, dans laquelle des instructions cach�es int�gr�es dans un contenu apparemment innocent peuvent manipuler le comportement du mod�le d'IA, une vuln�rabilit� que les chercheurs en s�curit� ont document�e pour la premi�re fois en 2022.

Ces attaques repr�sentent une faille de s�curit� pernicieuse et non r�solue des grands mod�les de langage (LLM), car les donn�es et les instructions sur la mani�re de les traiter sont transmises au mod�le dans le m�me format dans le cadre de la � fen�tre contextuelle �, ce qui rend difficile pour un mod�le d'IA de faire la distinction entre les instructions l�gitimes et les commandes malveillantes cach�es dans le contenu fourni par l'utilisateur.

Anthropic dit avoir d�couvert ces vuln�rabilit�s gr�ce � des tests de s�curit� et de red teaming avant sa sortie. La soci�t� recommande aux utilisateurs de surveiller Claude pendant l'utilisation de la fonctionnalit� et de l'arr�ter s'ils constatent qu'il utilise ou acc�de � des donn�es de mani�re inattendue.

Cependant, cela fait peser enti�rement la responsabilit� de la s�curit� sur l'utilisateur dans ce qui est commercialis� comme un syst�me automatis� et sans intervention. Simon Willison, chercheur ind�pendant en IA, a comment� cette fonctionnalit�, soulignant que la recommandation d'Anthropic de � surveiller Claude pendant l'utilisation de la fonctionnalit� � revient � � externaliser injustement le probl�me aux utilisateurs d'Anthropic �.

Simon Willison affirme que les mesures de s�curit� mises en place par Anthropic sont insuffisantes. � Je pr�vois d'utiliser cette fonctionnalit� avec prudence pour toutes les donn�es que je ne souhaite absolument pas voir divulgu�es � des tiers, s'il existe le moindre risque qu'une instruction malveillante s'y glisse �, a-t-il d�clar�.

Des mesures d'att�nuation jug�es insuffisantes par les chercheurs

Anthropic n'ignore toutefois pas compl�tement le probl�me. La soci�t� a mis en place plusieurs mesures de s�curit� pour la fonctionnalit� de cr�ation de fichiers. Pour les utilisateurs Pro et Max, Anthropic a d�sactiv� le partage public des conversations qui utilisent la fonctionnalit� de cr�ation de fichiers. Pour les utilisateurs Enterprise, la soci�t� a mis en place un environnement sandbox afin que les environnements ne soient jamais partag�s entre les utilisateurs. Anthropic a �galement limit� la dur�e des t�ches et le temps d'ex�cution des conteneurs afin d'�viter les boucles d'activit�s malveillantes.

Pour les administrateurs Team et Enterprise, Anthropic fournit �galement une liste blanche des domaines auxquels Claude peut acc�der, notamment api.anthropic.com, github.com, registry.npmjs.org et pypi.org. La documentation indique que � Claude ne peut �tre amen� � divulguer les donn�es auxquelles il a acc�s dans une conversation que par le biais d'un prompt, d'un projet ou de connexions activ�es par un utilisateur individuel �.

Anthropic dispose d'un processus continu de tests de s�curit� et de red teaming de cette fonctionnalit�. L'entreprise encourage les organisations � � �valuer ces protections par rapport � leurs exigences sp�cifiques en mati�re de s�curit� lorsqu'elles d�cident d'activer ou non cette fonctionnalit� �. Conform�ment � son cadre relatif aux agents s�rs et fiables, Anthropic a appliqu� les mesures d'att�nuation suivantes pour les utilisateurs individuels :

• vous avez le contr�le total de cette fonctionnalit�. Vous pouvez l'activer ou la d�sactiver � tout moment ;
• vous pouvez arr�ter les actions de Claude � tout moment et Anthropic recommande de surveiller son travail lorsque vous utilisez cette fonctionnalit� ;
• vous avez la possibilit� de revoir et d'auditer les actions effectu�es par Claude dans l'environnement Sandbox ;
• le partage public des conversations incluant des artefacts de fichiers provenant de la fonctionnalit� de cr�ation de fichiers a �t� d�sactiv� pour les utilisateurs Pro et Max ;
• la dur�e des t�ches pouvant �tre effectu�es par Claude et la dur�e d'utilisation d'un seul conteneur Sandbox ont �t� limit�es afin d'�viter les boucles d'activit�s malveillantes ;
• les ressources r�seau, conteneur et stockage ont �t� intentionnellement limit�s ;
• mise en place d'un classificateur pour d�tecter les injections de prompt et arr�ter l'ex�cution si elles sont d�tect�es.

L'IA deviendra bient�t incontournable dans les services informatiques

Gartner a r�cemment organis� un symposium informatique de Gartner � Gold Coast, en Australie, au cours duquel plusieurs experts ont pris la parole pour �voquer l'impact potentiel de l'IA dans le secteur informatique dans un avenir proche. Alicia Mullery, vice-pr�sidente et analyste chez Gartner, a rappel� qu'� l'heure actuelle, 81 % du travail est effectu� par des humains sans aucune aide de l'IA. Mais la tendance devrait s'inverser d'ici la fin de la d�cennie.

D'ici 5 ans, Gartner estime que jusqu'� 75 % du travail informatique sera constitu� d'activit�s humaines augment�es par l'IA, le reste �tant effectu� par des robots seuls. Daryl Plummer, vice-pr�sident analyste �m�rite, a d�clar� que cette �volution permettra aux services informatiques de gagner en capacit� de travail et qu'ils devront prouver qu'ils m�ritent de la conserver. � Il ne faut jamais donner l'impression d'avoir trop de personnel �, a-t-il conseill�.

Daryl Plummer a sugg�r� aux responsables informatiques de consulter leurs homologues d'autres services de l'entreprise afin d'identifier les opportunit�s � valeur ajout�e que les services informatiques peuvent exploiter. Pourtant, l'omnipr�sence de l'IA commence � agacer de plus en plus de travailleurs.

Depuis plusieurs mois, un malaise grandit chez les utilisateurs de GitHub. Copilot, qui devait �tre une r�volution en mati�re de productivit�, se transforme pour beaucoup en cauchemar impos�. Pr�sent� au d�part comme une option, Copilot devient un �l�ment quasi indissociable de l�exp�rience GitHub et Visual Studio Code, auquel il est int�gr� par d�faut. Il est difficile � d�sactiver et omnipr�sent jusque dans les suggestions de probl�mes ou de pull requests.

Ce glissement d�un service facultatif vers une imposition syst�matique nourrit une impression d�intrusion, voire de manipulation. Pour nombreux utilisateurs de la plateforme, GitHub ne respecte plus leur autonomie et leur libert� de choix, deux valeurs pourtant fondatrices de la culture open source.

Conclusion

L'IA s'impose de plus en plus dans les organisations et les fournisseurs s'empressent d'am�liorer les capacit�s de leurs produits afin de rester comp�titifs sur le march�. D'ici � 2023, la r�alisation de 75 % du travail informatique impliquera l'IA et les 25 % restants seront enti�rement automatis�s. Mais l'adoption de l'IA ne se fera pas sans encombre. Selon Gartner, de nombreux obstacles restent � surmonter et la plupart des projets d'IA �chouent pour l'instant.

La nouvelle fonctionnalit� de l'assistant Claude d'Anthropic offre des capacit�s avanc�es, mais comporte des risques de s�curit� majeurs. Les utilisateurs doivent en �tre conscients et rester vigilants et prendre des pr�cautions pour �viter tout incident li� � des fichiers malveillants ou des exploits de l�IA.

Sources : Anthropic, billet de blogue

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la fonctionnalit� de cr�ation et d'�dition de fichiers de Claude ?
Selon vous, faut-il faire confiance � une IA pour cr�er ou manipuler des fichiers sensibles ?
Comment les utilisateurs peuvent-ils se prot�ger efficacement lors de l'utilisation de cette fonctionnalit� ?
Les experts en cybers�curit� affirment que les mesures d'att�nuation mises en place Anthropic sont insuffisantes. Qu'en pensez-vous ?

Voir aussi

L'IA Claude d'Anthropic peut d�sormais cr�er et modifier des formats de fichiers courants : Excel, documents, pr�sentations PowerPoint et PDF, sans quitter l'exp�rience web ou l'application de bureau

Microsoft modifie sa strat�gie en mati�re d'IA en int�grant les mod�les Claude d'Anthropic dans les applications Office 365, qui seraient plus performants que les mod�les d'OpenAI dans certains cas

GitHub sous tension : certains utilisateurs m�contents se rebellent contre les fonctionnalit�s IA Copilot impos�es quand l'aide optionnelle au codage se transforme en prison num�rique