Les robots ou bots IA et les scrapers LLM recherchent tous votre contenu !
Akamai bloque les scrapers qui entravent votre activité et gère les bots.
TL;DR
- Le trafic des robots IA a augmenté de 300 % au cours de l’année écoulée.
- Le nombre de robots IA/LLM augmente considérablement, mais leurs modèles d’utilisation aident à déterminer l’intention.
- Avec Akamai, vous pouvez savoir qui accède à votre contenu, arrêter les scrapers et reprendre le contrôle de votre trafic en décidant qui peut accéder à quel contenu, dans quelles conditions.
L’IA entraîne une augmentation du trafic sur Internet
Le trafic de bots généré par l’intelligence artificielle (IA) est passé de presque rien à la fin de l’année dernière à 0,27 % du trafic sur la plateforme Akamai et à 0,9 % des bots connus, répertoriés dans la bibliothèque de bots auto-identifiés et catégorisés par Akamai (Figure 1).
Ce trafic se chiffre déjà en milliards de requêtes par jour.
Cette croissance spectaculaire ne montre aucun signe de ralentissement, et nous constatons chaque semaine l’arrivée de plus en plus de robots IA (de type scraping, pilotés par l’utilisateur ou par un agent).
Certains se comportent mieux que d’autres, et les intentions de ces robots varient considérablement.
Akamai suit activement les robots d’IA vérifiés :
- Bots d’IA vérifiés — via l’utilisateur/agent et des facteurs supplémentaires comme l’ASN source
- Bots d’IA déduits — via l’utilisateur/agent (mais sans facteur supplémentaire) ou des signaux de renseignement sur les menaces
Akamai protège les marques les plus valorisées et les plus ciblées au monde
L’entreprise protège de nombreux grands noms du monde entier et de tous les secteurs d’activité, ainsi que leurs actifs les plus précieux.
Parce qu’Akamai exploite la plateforme cloud la plus distribuée au monde, celle-ci bénéficie d’une visibilité inégalée et peut donc détecter plus facilement les intentions malveillantes .
Akamai connait et identifie ce que recherchent les robots d’IA et les grands modèles de langage (LLM), ce qui lui fournis des informations inégalées sur l’activité et les cas d’utilisation, et permet à l’entreprise de fournir les meilleures solutions de gestion de la planète.
Ceci est particulièrement intéressant dans les requêtes d’IA/LLM pilotées par l’utilisateur ou l’agent (dans lesquelles des informations spécifiques sont recherchées en temps réel), par opposition à la construction de modèles (dans laquelle des explorations exhaustives sont effectuées à des intervalles moins fréquents).
En première ligne pour l’explosion du LLM
Akamai est idéalement positionné pour bénéficier d’une visibilité accrue sur l’utilisation des LLM.
Voici 5 constats :
- Le nombre de robots IA/LLM augmente considérablement en proportion des robots.
- Les demandes entrantes de robots d’IA proviennent d’une grande variété de fournisseurs.
- Les LLM qui ciblent des secteurs spécifiques sont connus, identifiés et localisés.
- Certaines industries sont davantage ciblées par les robots IA.
- Les modèles d’utilisation aident à déterminer l’intention.
Les bots AI/LLM augmentent en proportion des bots
Bien que le nombre de bots vérifiés ait considérablement augmenté depuis fin 2024, l’essentiel de cette croissance s’est produit au début de la période.
Akamai a commencé à suivre les bots d’IA vérifiés à peu près à la même période, et cette croissance a été constante et rapide (Figure 2).
Fig. 2 : Les robots IA vérifiés se développent à un rythme beaucoup plus rapide que les robots vérifiés en général
Demandes de robots d’IA entrantes provenant d’une grande variété de fournisseurs
Akamai suit activement des dizaines de robots d’IA provenant des centres de données des fournisseurs d’IA, de ceux qui exécutent des modèles d’IA internes et des applications mobiles des fournisseurs d’IA (Figure 3).
Fig. 3 : Nous observons une grande variété de trafic provenant de robots d’IA, les six principaux fournisseurs représentant les deux tiers du trafic
LLM ciblant des secteurs spécifiques
Akamai sait quels secteurs et zones géographiques spécifiques sont ciblés par quels LLM.
De nombreux bots d’IA de premier plan (tels que ceux de Google, Claude et Meta) ciblent par exemple les clients du commerce (Figure 4).
- GPTBot (OpenAI) a un penchant pour les clients de haute technologie.
- L’opérateur (agent OpenAI) cible presque exclusivement les clients high-tech.
- PetalBot (Huawei) cible fortement les clients des médias sociaux.
Fig. 4 : Le trafic des robots IA de différents fournisseurs varie selon les jours
Les industries les plus ciblées par les robots IA
Comme le montre la figure 5, différents robots d’IA ciblent différents secteurs.
Fig. 5 : Différents robots d’IA ciblent différents secteurs
La figure 6 montre que les clients éditeurs sont sept fois plus susceptibles de voir du trafic de robots pilotés par l’IA.
Les robots IA comptent parmi les agents utilisateurs les plus performants du secteur (barres rouges à gauche).
Fig. 6 : Les robots IA ne figurent pas parmi les meilleurs agents utilisateurs parmi tous les clients, mais les meilleurs parmi les éditeurs.
Les modèles d’utilisation aident à déterminer l’intention
Dans la figure 7, les barres rouges (nombre de clients) indiquent le scraping pour la création/mise à jour du modèle.
Les barres bleues indiquent les demandes des utilisateurs/agents.
Fig. 7 : Un grand nombre de robots d’IA sont actifs sur de nombreux comptes, mais seuls quelques-uns génèrent des volumes importants de requêtes.
Comment Akamai gère les bots IA/LLM
Depuis plus de deux décennies, Akamai travaille en étroite collaboration avec les éditeurs pour protéger leurs propriétés numériques et garder une longueur d’avance sur les menaces en constante évolution.
- Savoir qui accède à votre contenu : comprenez le paysage des robots connus et comment ils s’adaptent pour échapper à la détection
- Arrêter le scraping : autorisez ou bloquez instantanément l’exploration de votre contenu par les robots
- Reprendre le contrôle : décidez qui peut accéder à quel contenu, dans quelles conditions
Akamai dispose de systèmes de détection spécifiques pour identifier les bots malveillants qui tentent d’usurper l’identité de bots connus.
Les attaquants, sachant que les organisations autoriseront certains bots IA, comme ChatGPT, exploiteront cette vulnérabilité.
Prenez le contrôle de votre relation avec les robots IA
Le maître-mot de la solution de gestion des bots est… la gestion !
Bloquer purement et simplement les bots IA est une stratégie agressive, car le trafic IA piloté par les utilisateurs et les agents croît rapidement.
Mais autoriser tous les bots IA pourrait également être une mauvaise décision.
La suite de gestion de bots d’Akamai permet aux clients de prendre le contrôle de leur relation avec les bots d’IA : ils autorisent ceux qu’ils jugent utiles, bloquent ceux qui leur sont nuisibles et prennent des mesures granulaires et contextuelles sur les autres.
Ils peuvent ainsi prendre les bonnes décisions pour leur entreprise.
Considérez dès aujourd’hui les cas d’utilisation réels de demain
Par exemple, imaginons qu’un détaillant souhaite partager les informations sur ses produits, mais pas les prix, avec un LLM spécifique.
Il pourrait proposer une page produit sans les prix à ce LLM, tout en détournant les demandes des LLM avec lesquels il ne souhaite pas interagir (ou des imitateurs de robots LLM).
Peut-être qu’ils n’autoriseraient pas un agent IA à effectuer le paiement, mais présenteraient plutôt un test à l’utilisateur pour s’assurer que l’acheteur est humain.
Prenons un autre exemple.
Dans ce scénario, un éditeur souhaite accepter les requêtes des fournisseurs d’IA avec lesquels il a conclu des accords de monétisation (comme Offerwall de Google AI ), tout en insérant un test (par exemple, JavaScript ou CAPTCHA) pour les autres.
La façon dont vous gérez les robots LLM est un besoin commercial stratégique
Le secteur a tendance à considérer les bots comme un problème de sécurité et d’abus.
Cependant, nous constatons de plus en plus que la manière dont les entreprises gèrent le trafic des bots a un impact direct sur leurs objectifs commerciaux.
Les clients doivent envisager les robots IA dans un contexte professionnel, et la solution d’Akamai peut les y aider.
Il s’agit d’un secteur émergent, et la capacité de la solution à appréhender la situation dans son ensemble est cruciale.
Posez-vous les questions suivantes :
- Quels LLM souhaitez-vous servir ?
- Quels cas d’utilisation (construction de modèles ou utilisateurs/agents) sont importants pour vous ?
- Quelles informations souhaitez-vous partager et quelles informations ne souhaitez-vous pas partager ?
- Quels mécanismes souhaitez-vous utiliser pour gérer l’IA entrante ?
À l’avenir, la stratégie pour gérez vos relations avec l’IA/les LLM constituera une part importante de la façon dont vous gérerez votre entreprise et de la manière avec laquelle vous atteindrez ou non vos objectifs.
Pour en savoir plus concernant NOS SOLUTIONS, n’hésitez pas à nous contacter ou demander un devis gratuitement
Source : Akamai Guardicore
