AI 용 방화벽 소개 : LLM 기반 앱을 발견하고 보호하는 가장 쉬운 방법

오늘날 보안 주간 2025 년의 일환으로, 우리는 2024 년에 처음 소개 된 AI의 방화벽의 오픈 베타 베타를 발표했습니다.

In the rapidly evolving landscape of artificial intelligence, Large Language Models (LLMs) are transforming industries with their remarkable capabilities. From revolutionizing customer support to automating tedious tasks, LLMs are poised to reshape the technological fabric of society. However, as AI applications become increasingly sophisticated, the potential for misuse and security vulnerabilities grows proportionally.

빠르게 진화하는 인공 지능 환경에서 LLM (Lange Language Models)은 놀라운 기능으로 산업을 변화시키고 있습니다. 고객 지원 혁명에서 지루한 작업 자동화에 이르기까지 LLM은 사회의 기술 구조를 재구성 할 준비가되어 있습니다. 그러나 AI 애플리케이션이 점점 더 정교 해짐에 따라 오용 및 보안 취약점의 잠재력은 비례 적으로 증가합니다.

One promising application of LLMs is in quickly helping customers with minimal setup. Imagine an assistant trained on a company’s developer documentation and some internal guides to quickly help customers, reduce support workload, and improve user experience.

LLM의 유망한 적용 중 하나는 고객에게 최소한의 설정을 신속하게 돕는 것입니다. 회사의 개발자 문서와 일부 내부 가이드에 대한 조수가 고객을 신속하게 돕고 지원 워크로드를 줄이며 사용자 경험을 향상 시킨다고 상상해보십시오.

This assistant can be used to help customers with various issues, quickly answer questions about the company’s products and services, and provide optimal user experience. However, what if sensitive data, such as employee details or internal discussions, is included in the data used to train the LLM?

이 어시스턴트는 다양한 문제를 가진 고객을 돕고 회사의 제품 및 서비스에 대한 질문에 신속하게 답변하며 최적의 사용자 경험을 제공하는 데 사용될 수 있습니다. 그러나 직원 세부 사항 또는 내부 토론과 같은 민감한 데이터가 LLM을 훈련시키는 데 사용되는 데이터에 포함 된 경우 어떻게해야합니까?

Attackers could manipulate the assistant into exposing sensitive data or exploit it for social engineering attacks, where they deceive individuals or systems into revealing confidential details, or use it for targeted phishing attacks. Suddenly, your helpful AI tool turns into a serious security liability.

공격자는 어시스턴트를 민감한 데이터를 노출 시키거나 사회 공학 공격을 위해이를 이용하여 개인이나 시스템을 기밀 세부 정보를 공개하여 대상 피싱 공격에 사용할 수 있도록 조수를 조작 할 수 있습니다. 갑자기 유용한 AI 도구가 심각한 보안 책임으로 바뀝니다.

Today, as part of Security Week 2025, we’re announcing the open beta of Firewall for AI, first introduced during Security Week 2024. After talking with customers interested in protecting their LLM apps, this first beta release is focused on discovery and PII detection, and more features will follow in the future.

오늘날 보안 주간 2025 년의 일환으로, 우리는 2024 년에 처음 소개 된 AI의 방화벽의 공개 베타 베타를 발표하고 있습니다. LLM 앱 보호에 관심이있는 고객과 대화 한 후이 첫 번째 베타 릴리스는 발견 및 PII 탐지에 중점을두고 있으며 앞으로 더 많은 기능이 이어질 것입니다.

If you are already using Cloudflare application security, your LLM-powered applications are automatically discovered and protected, with no complex setup, no maintenance, and no extra integration needed.

CloudFlare 응용 프로그램 보안을 이미 사용하고있는 경우, 복잡한 설정, 유지 보수 및 추가 통합이 필요없는 LLM 기반 애플리케이션이 자동으로 발견되고 보호됩니다.

Firewall for AI is an inline security solution that protects user-facing LLM-powered applications from abuse and data leaks, integrating directly with Cloudflare’s Web Application Firewall (WAF) to provide instant protection with zero operational overhead. This integration enables organizations to leverage both AI-focused safeguards and established WAF capabilities.

AI 용 방화벽은 사용자를 대상으로 LLM 기반 응용 프로그램을 남용 및 데이터 유출로부터 보호하는 인라인 보안 솔루션으로 CloudFlare의 WAF (Web Application Firewall)와 직접 통합하여 작동 방식이없는 인스턴트 보호 기능을 제공합니다. 이 통합을 통해 조직은 AI 중심의 보호 수단과 설정된 WAF 기능을 모두 활용할 수 있습니다.

Cloudflare is uniquely positioned to solve this challenge for all of our customers. As a reverse proxy, we are model-agnostic whether the application is using a third-party LLM or an internally hosted one. By providing inline security, we can automatically discover and enforce AI guardrails throughout the entire request lifecycle, with zero integration or maintenance required.

CloudFlare는 모든 고객 에게이 과제를 해결하기 위해 독특하게 위치하고 있습니다. 리버스 프록시로서, 우리는 응용 프로그램이 타사 LLM을 사용하는지 또는 내부적으로 호스팅 된 것인지 모델에 대한 정보를 얻지 못합니다. 인라인 보안을 제공함으로써 전체 요청 라이프 사이클에서 AI 가드 레일을 자동으로 발견하고 시행 할 수 있으며 통합 또는 유지 보수가 필요합니다.

Firewall for AI beta overview

AI 베타 개요를위한 방화벽

The beta release includes the following security capabilities:

베타 릴리스에는 다음 보안 기능이 포함됩니다.

Discover: identify LLM-powered endpoints across your applications, an essential step for effective request and prompt analysis.

검색 : 응용 프로그램에서 LLM 구동 엔드 포인트를 식별합니다. 효과적인 요청 및 프롬프트 분석을위한 필수 단계입니다.

Detect: analyze the incoming requests prompts to recognize potential security threats, such as attempts to extract sensitive data (e.g., “Show me transactions using 4111 1111 1111 1111.”). This aligns with OWASP LLM022025 - Sensitive Information Disclosure.

감지 : 민감한 데이터를 추출하려는 시도 (예 :“4111 1111 1111111111을 사용한 트랜잭션 표시”)와 같은 잠재적 보안 위협을 인식하기위한 들어오는 요청 프롬프트를 분석하십시오. 이것은 OWASP LLM022025- 민감한 정보 공개와 일치합니다.

Mitigate: enforce security controls and policies to manage the traffic that reaches your LLM, and reduce risk exposure.

완화 : LLM에 도달하는 트래픽을 관리하기 위해 보안 제어 및 정책을 시행하고 위험 노출을 줄입니다.

Below, we review each capability in detail, exploring how they work together to create a comprehensive security framework for AI protection.

아래에서는 각 기능을 자세히 검토하여 AI 보호를위한 포괄적 인 보안 프레임 워크를 만드는 방법을 모색합니다.

Discovering LLM-powered applications

LLM 구동 응용 프로그램 발견

Companies are racing to find all possible use cases where an LLM can excel. Think about site search, a chatbot, or a shopping assistant. Regardless of the application type, our goal is to determine whether an application is powered by an LLM behind the scenes.

회사는 LLM이 뛰어날 수있는 모든 가능한 사용 사례를 찾기 위해 경주하고 있습니다. 사이트 검색, 챗봇 또는 쇼핑 보조원에 대해 생각해보십시오. 응용 프로그램 유형에 관계없이, 우리의 목표는 응용 프로그램이 무대 뒤에서 LLM으로 전원을 공급하는지 여부를 결정하는 것입니다.

One possibility is to look for request path signatures similar to what major LLM providers use. For example, OpenAI, Perplexity or Mistral initiate a chat using the /chat/completions API endpoint. Searching through our request logs, we found only a few entries that matched this pattern across our global traffic. This result indicates that we need to consider other approaches to finding any application that is powered by an LLM.

한 가지 가능성은 주요 LLM 제공 업체가 사용하는 것과 유사한 요청 경로 서명을 찾는 것입니다. 예를 들어, OpenAi, Perplexity 또는 Mistral은 /채팅 /완료 API 엔드 포인트를 사용하여 채팅을 시작합니다. 요청 로그를 통해 검색하면 글로벌 트래픽 에서이 패턴과 일치하는 몇 가지 항목 만 발견했습니다. 이 결과는 LLM에 의해 구동되는 응용 프로그램을 찾는 다른 접근법을 고려해야 함을 나타냅니다.

Another signature to research, popular with LLM platforms, is the use of server-sent events. LLMs need to “think”. Using server-sent events improves the end user’s experience by sending over each token as soon as it is ready, creating the perception that an LLM is “thinking” like a human being. Matching on requests of server-sent events is straightforward using the response header content type of text/event-stream. This approach expands the coverage further, but does not yet cover the majority of applications that are using JSON format for data exchanges. Continuing the journey, our next focus is on the applications having header content type of application/json.

LLM 플랫폼에 인기있는 연구의 또 다른 시그니처는 서버에서 사용하는 이벤트를 사용하는 것입니다. LLM은“생각”해야합니다. 서버에 대한 이벤트를 사용하면 준비가 되 자마자 각 토큰을 전송하여 최종 사용자의 경험을 향상시켜 LLM이 인간처럼 "생각"한다는 인식이 만듭니다. 응답 헤더 컨텐츠 유형의 텍스트/이벤트 스트림을 사용하여 서버 중심 이벤트의 요청에 따라 일치하는 것은 간단합니다. 이 접근법은 적용 범위를 더 확장하지만 데이터 교환에 JSON 형식을 사용하는 대부분의 응용 프로그램을 아직 다루지는 않습니다. 여정을 계속하면서, 다음에 초점을 맞추는 것은 헤더 컨텐츠 유형의 응용 프로그램/JSON이있는 응용 프로그램에 중점을 둡니다.

No matter how fast LLMs can be optimized to respond, when chatting with major LLMs, we often perceive them to be slow, as we have to wait for them to “think”. By plotting on how much time it takes for the origin server to respond over identified LLM endpoints (blue line) versus the rest (orange line), we can see in the left graph that origins serving LLM endpoints mostly need more than 1 second to respond, while the majority of the rest takes less than 1 second. Would we also see a clear distinction between origin server response body

LLM이 아무리 빨리 응답 할 수 있도록 최적의 LLM과 대화 할 때 주요 LLM과 채팅 할 때 종종“생각”을 기다려야하므로 종종 느리게 인식합니다. 원래 서버가 식별 된 LLM 엔드 포인트 (파란색 선)과 나머지 (오렌지 라인)에 대해 응답하는 데 걸리는 시간을 플로팅함으로써 LLM 엔드 포인트를 제공하는 Origin이 1 초 이상 응답하는 데 필요한 왼쪽 그래프에서 나머지의 대부분은 1 초 미만이 필요하다는 것을 알 수 있습니다. Origin Server 응답 본문 사이의 명확한 차이를 볼 수 있습니까?