Présentation du pare-feu pour l'IA: la façon la plus simple de découvrir et de protéger les applications alimentées par LLM

Aujourd'hui, dans le cadre de la semaine de sécurité 2025, nous annonçons la version bêta ouverte du pare-feu pour l'IA, présentée pour la première fois lors de la Semaine de la sécurité 2024.

In the rapidly evolving landscape of artificial intelligence, Large Language Models (LLMs) are transforming industries with their remarkable capabilities. From revolutionizing customer support to automating tedious tasks, LLMs are poised to reshape the technological fabric of society. However, as AI applications become increasingly sophisticated, the potential for misuse and security vulnerabilities grows proportionally.

Dans le paysage rapide de l'intelligence artificielle en évolution, les modèles de grands langues (LLM) transforment les industries avec leurs capacités remarquables. De la révolution du support client à l'automatisation des tâches fastidieuses, les LLM sont prêtes à remodeler le tissu technologique de la société. Cependant, à mesure que les applications de l'IA deviennent de plus en plus sophistiquées, le potentiel de vulnérabilités abusif et de sécurité augmente proportionnellement.

One promising application of LLMs is in quickly helping customers with minimal setup. Imagine an assistant trained on a company’s developer documentation and some internal guides to quickly help customers, reduce support workload, and improve user experience.

Une application prometteuse de LLMS est d'aider rapidement les clients avec une configuration minimale. Imaginez un assistant formé sur la documentation des développeurs d'une entreprise et certains guides internes pour aider rapidement les clients, à réduire la charge de travail et à améliorer l'expérience utilisateur.

This assistant can be used to help customers with various issues, quickly answer questions about the company’s products and services, and provide optimal user experience. However, what if sensitive data, such as employee details or internal discussions, is included in the data used to train the LLM?

Cet assistant peut être utilisé pour aider les clients à avoir divers problèmes, répondre rapidement aux questions sur les produits et services de l'entreprise et offrir une expérience utilisateur optimale. Cependant, que se passe-t-il si des données sensibles, telles que les détails des employés ou les discussions internes, sont incluses dans les données utilisées pour former le LLM?

Attackers could manipulate the assistant into exposing sensitive data or exploit it for social engineering attacks, where they deceive individuals or systems into revealing confidential details, or use it for targeted phishing attacks. Suddenly, your helpful AI tool turns into a serious security liability.

Les attaquants pourraient manipuler l'assistant pour exposer des données sensibles ou l'exploiter pour les attaques d'ingénierie sociale, où ils trompent les individus ou les systèmes pour révéler des détails confidentiels, ou l'utiliser pour des attaques de phishing ciblées. Soudain, votre outil d'IA utile se transforme en une responsabilité de sécurité sérieuse.

Today, as part of Security Week 2025, we’re announcing the open beta of Firewall for AI, first introduced during Security Week 2024. After talking with customers interested in protecting their LLM apps, this first beta release is focused on discovery and PII detection, and more features will follow in the future.

Aujourd'hui, dans le cadre de la Semaine de sécurité 2025, nous annonçons la version bêta ouverte du pare-feu pour l'IA, introduit pour la première fois lors de la Semaine de la sécurité 2024. Après avoir parlé avec les clients intéressés à protéger leurs applications LLM, cette première version bêta est axée sur la découverte et la détection PII, et d'autres fonctionnalités suivront à l'avenir.

If you are already using Cloudflare application security, your LLM-powered applications are automatically discovered and protected, with no complex setup, no maintenance, and no extra integration needed.

Si vous utilisez déjà la sécurité des applications CloudFlare, vos applications alimentées par LLM sont automatiquement découvertes et protégées, sans configuration complexe, sans maintenance et aucune intégration supplémentaire nécessaire.

Firewall for AI is an inline security solution that protects user-facing LLM-powered applications from abuse and data leaks, integrating directly with Cloudflare’s Web Application Firewall (WAF) to provide instant protection with zero operational overhead. This integration enables organizations to leverage both AI-focused safeguards and established WAF capabilities.

Le pare-feu pour l'IA est une solution de sécurité en ligne qui protège les applications LLM orientées vers les utilisateurs contre les abus et les fuites de données, intégrant directement avec l'application Web de CloudFlare pour le pare-feu (WAF) pour fournir une protection instantanée avec zéro surcharge opérationnelle. Cette intégration permet aux organisations de tirer parti à la fois des garanties axées sur l'IA et des capacités de WAF établies.

Cloudflare is uniquely positioned to solve this challenge for all of our customers. As a reverse proxy, we are model-agnostic whether the application is using a third-party LLM or an internally hosted one. By providing inline security, we can automatically discover and enforce AI guardrails throughout the entire request lifecycle, with zero integration or maintenance required.

Cloudflare est uniquement positionné pour résoudre ce défi pour tous nos clients. En tant que proxy inverse, nous sommes agnostiques, que l'application utilise un LLM tiers ou hébergé en interne. En fournissant une sécurité en ligne, nous pouvons automatiquement découvrir et appliquer les garde-corps AI tout au long du cycle de vie de la demande, avec une intégration ou une maintenance zéro requise.

Firewall for AI beta overview

Présentation du pare-feu pour IA Beta

The beta release includes the following security capabilities:

La version bêta comprend les capacités de sécurité suivantes:

Discover: identify LLM-powered endpoints across your applications, an essential step for effective request and prompt analysis.

Découvrez: Identifiez les points de terminaison alimentés par LLM sur vos applications, une étape essentielle pour une demande efficace et une analyse rapide.

Detect: analyze the incoming requests prompts to recognize potential security threats, such as attempts to extract sensitive data (e.g., “Show me transactions using 4111 1111 1111 1111.”). This aligns with OWASP LLM022025 - Sensitive Information Disclosure.

Détection: Analyser les invites des demandes entrantes pour reconnaître les menaces de sécurité potentielles, telles que les tentatives d'extraction de données sensibles (par exemple, «Montrez-moi des transactions en utilisant 4111 1111 1111 1111.»). Cela s'aligne sur OWASP LLM022025 - divulgation d'informations sensibles.

Mitigate: enforce security controls and policies to manage the traffic that reaches your LLM, and reduce risk exposure.

Antorisez: appliquez les contrôles et les politiques de sécurité pour gérer le trafic qui atteint votre LLM et réduisez l'exposition aux risques.

Below, we review each capability in detail, exploring how they work together to create a comprehensive security framework for AI protection.

Ci-dessous, nous passons en revue chaque capacité en détail, explorant comment ils fonctionnent ensemble pour créer un cadre de sécurité complet pour la protection de l'IA.

Discovering LLM-powered applications

Découvrir les applications LLM

Companies are racing to find all possible use cases where an LLM can excel. Think about site search, a chatbot, or a shopping assistant. Regardless of the application type, our goal is to determine whether an application is powered by an LLM behind the scenes.

Les entreprises courent pour trouver tous les cas d'utilisation possibles où un LLM peut exceller. Pensez à la recherche de site, à un chatbot ou à un assistant commercial. Quel que soit le type d'application, notre objectif est de déterminer si une application est alimentée par un LLM dans les coulisses.

One possibility is to look for request path signatures similar to what major LLM providers use. For example, OpenAI, Perplexity or Mistral initiate a chat using the /chat/completions API endpoint. Searching through our request logs, we found only a few entries that matched this pattern across our global traffic. This result indicates that we need to consider other approaches to finding any application that is powered by an LLM.

Une possibilité consiste à rechercher des signatures de chemin de demande similaires à ce que les principaux fournisseurs de LLM utilisent. Par exemple, Openai, Perplexity ou Mistral lancent un chat à l'aide du point de terminaison de l'API / CHAT / EXCELIONS. En recherchant dans nos journaux de demande, nous n'avons trouvé que quelques entrées qui correspondaient à ce modèle dans notre trafic mondial. Ce résultat indique que nous devons considérer d'autres approches pour trouver une application alimentée par un LLM.

Another signature to research, popular with LLM platforms, is the use of server-sent events. LLMs need to “think”. Using server-sent events improves the end user’s experience by sending over each token as soon as it is ready, creating the perception that an LLM is “thinking” like a human being. Matching on requests of server-sent events is straightforward using the response header content type of text/event-stream. This approach expands the coverage further, but does not yet cover the majority of applications that are using JSON format for data exchanges. Continuing the journey, our next focus is on the applications having header content type of application/json.

Une autre signature de la recherche, populaire auprès des plates-formes LLM, est l'utilisation d'événements de serveur. Les LLM doivent «penser». L'utilisation d'événements de serveur améliore l'expérience de l'utilisateur final en envoyant chaque jeton dès qu'il est prêt, créant la perception qu'un LLM «pense» comme un être humain. La correspondance sur les demandes d'événements de serveur est simple à l'aide du type d'en-tête de réponse Type de texte / flux d'événements. Cette approche élargit davantage la couverture, mais ne couvre pas encore la majorité des applications qui utilisent le format JSON pour les échanges de données. Poursuivant le voyage, notre prochain nous est mis sur les applications ayant un type de contenu en tête d'application / JSON.

No matter how fast LLMs can be optimized to respond, when chatting with major LLMs, we often perceive them to be slow, as we have to wait for them to “think”. By plotting on how much time it takes for the origin server to respond over identified LLM endpoints (blue line) versus the rest (orange line), we can see in the left graph that origins serving LLM endpoints mostly need more than 1 second to respond, while the majority of the rest takes less than 1 second. Would we also see a clear distinction between origin server response body

Peu importe à quelle vitesse les LLM peuvent être optimisés pour répondre, lorsque nous discutons avec des LLM majeurs, nous les percevons souvent comme lents, car nous devons attendre qu'ils «réfléchissent». En traçant le temps nécessaire pour que le serveur d'origine réponde sur les points de terminaison LLM identifiés (ligne bleue) par rapport au reste (ligne orange), nous pouvons voir dans le graphique de gauche que les origines desservant les points de terminaison LLM ont principalement besoin de plus de 1 seconde pour répondre, tandis que la majorité du reste prend moins de 1 seconde. Vrions-nous également une distinction claire entre le corps de réponse du serveur d'origine