Purge instantanée: tous les clients CloudFlare peuvent désormais purger n'importe quel type de contenu

Il y a une tradition chez Cloudflare de lancer de vrais produits le 1er avril, au lieu des annonces de produits de blague habituelles qui circulent en ligne aujourd'hui.

There's a tradition at Cloudflare of launching real products on April 1, instead of the usual joke product announcements circulating online today. In previous years, we've introduced impactful products like 1.1.1.1 and 1.1.1.1 for Families. Today, we're excited to continue this tradition by making every purge method available to all customers, regardless of plan type.

Il y a une tradition chez Cloudflare de lancer de vrais produits le 1er avril, au lieu des annonces de produits de blague habituelles qui circulent en ligne aujourd'hui. Au cours des années précédentes, nous avons introduit des produits percutants comme 1.1.1.1 et 1.1.1.1 pour les familles. Aujourd'hui, nous sommes ravis de poursuivre cette tradition en mettant chaque méthode de purge à la disposition de tous les clients, quel que soit le type de plan.

During Birthday Week 2024, we announced our intention to bring the full suite of purge methods - including purge by URL, purge by hostname, purge by tag, purge by prefix, and purge everything - to all Cloudflare plans. Historically, methods other than "purge by URL" and "purge everything" were exclusive to Enterprise customers. However, we've been openly rebuilding our purge pipeline over the past few years (hopefully you've read some of our blog series), and we're thrilled to share the results more broadly. We've spent recent months ensuring the new Instant Purge pipeline performs consistently under 150 ms, even during increased load scenarios, making it ready for every customer.

Au cours de la semaine d'anniversaire 2024, nous avons annoncé notre intention d'apporter la suite complète de méthodes de purge - y compris la purge par URL, la purge par nom d'hôte, la purge par tag, la purge par préfixe et tout purge - à tous les plans Cloudflare. Historiquement, des méthodes autres que "Purge by URL" et "Purge Everything" étaient exclusives pour les clients d'entreprise. Cependant, nous avons reconstruit ouvertement notre pipeline de purge au cours des dernières années (j'espère que vous avez lu une partie de notre série de blogs), et nous sommes ravis de partager les résultats plus largement. Nous avons passé les derniers mois à garantir que le nouveau pipeline de purge instantané fonctionne de manière cohérente en moins de 150 ms, même pendant des scénarios de charge accrus, ce qui le prépare pour chaque client.

But that's not all - we're also significantly raising the default purge rate limits for Enterprise customers, allowing even greater purge throughput thanks to the efficiency of our newly developed Instant Purge system.

Mais ce n'est pas tout - nous augmentons également considérablement les limites de taux de purge par défaut pour les clients d'entreprise, permettant un débit de purge encore plus grand grâce à l'efficacité de notre système de purge instantané nouvellement développé.

Building a better purge: a two-year journey

Construire une meilleure purge: un voyage de deux ans

Stepping back, today's announcement represents roughly two years of focused engineering. Near the end of 2022, our team went heads down rebuilding Cloudflare's purge pipeline with a clear yet challenging goal: dramatically increase our throughput while maintaining near-instant invalidation across our global network.

En reculant, l'annonce d'aujourd'hui représente environ deux ans d'ingénierie ciblée. Vers la fin de 2022, notre équipe s'est avancée pour reconstruire le pipeline de purge de Cloudflare avec un objectif clair mais difficile: augmenter considérablement notre débit tout en maintenant une invalidation quasi-instante dans notre réseau mondial.

Cloudflare operates data centers in over 335 cities worldwide. Popular cached assets can reside across all of our data centers, meaning each purge request must quickly propagate to every location caching that content. Upon receiving a purge command, each data center must efficiently locate and invalidate cached content, preventing stale responses from being served. The amount of content that must be invalidated can vary drastically, from a single file, to all cached assets associated with a particular hostname. After the content has been purged, any subsequent requests will trigger retrieval of a fresh copy from the origin server, which will be stored in Cloudflare's cache during the response.

CloudFlare exploite des centres de données dans plus de 335 villes à travers le monde. Les actifs mis en cache populaires peuvent résider dans tous nos centres de données, ce qui signifie que chaque demande de purge doit rapidement se propager à chaque emplacement en cache ce contenu. Lors de la réception d'une commande de purge, chaque centre de données doit localiser et invalider efficacement le contenu mis en cache, empêchant les réponses périmées. La quantité de contenu qui doit être invalidé peut varier considérablement, d'un seul fichier à tous les actifs mis en cache associés à un nom d'hôte particulier. Une fois le contenu purgé, toutes les demandes ultérieures déclencheront une récupération d'une nouvelle copie du serveur d'origine, qui sera stockée dans le cache de CloudFlare pendant la réponse.

Ensuring consistent, rapid propagation of purge requests across a vast network introduces substantial technical challenges, especially when accounting for occasional data center outages, maintenance, or network interruptions. Maintaining consistency under these conditions requires robust distributed systems engineering.

Assurer une propagation cohérente et rapide des demandes de purge sur un vaste réseau introduit des défis techniques substantiels, en particulier lorsque l'on tient compte des pannes de données de données occasionnelles, de la maintenance ou des interruptions de réseau. Le maintien de la cohérence dans ces conditions nécessite une ingénierie des systèmes distribués robustes.

How did we scale purge?

Comment avons-nous mis à l'échelle la purge?

We've previously discussed how our new Instant Purge system was architected to achieve sub-150 ms purge times. It's worth noting that the performance improvements were only part of what our new architecture achieved, as it also helped us solve significant scaling challenges around storage and throughput that allowed us to bring Instant Purge to all users.

Nous avons précédemment discuté de la façon dont notre nouveau système de purge instantané a été architecté pour atteindre les temps de purge de moins de 150 ms. Il convient de noter que les améliorations des performances n'étaient qu'une partie de ce que notre nouvelle architecture a réalisée, car elle nous a également aidés à résoudre des défis de mise à l'échelle importants concernant le stockage et le débit qui nous ont permis d'apporter une purge instantanée à tous les utilisateurs.

Initially, our purge system scaled well, but with rapid customer growth, the storage consumption from millions of daily purge keys that needed to be stored reduced available caching space. Early attempts to manage this storage and throughput demand involved queues and batching for smoothing traffic spikes, but this introduced latency and underscored the tight coupling between increased usage and rising storage costs.

Initialement, notre système de purge a bien évolué, mais avec une croissance rapide des clients, la consommation de stockage de millions de clés de purge quotidien qui devait être stockée réduit l'espace de mise en cache disponible. Les premières tentatives pour gérer cette demande de stockage et de débit impliquaient des files d'attente et des lots pour le lissage des pointes de trafic, mais cela a introduit la latence et a souligné le couplage serré entre une utilisation accrue et l'augmentation des coûts de stockage.

We needed to revisit our thinking on how to better store purge keys and when to remove purged content so we could reclaim space. Historically, when a customer would purge by tag, prefix or hostname, Cloudflare would mark the content as expired and allow it to be evicted later. This is known as lazy-purge because nothing is actively removed from disk. Lazy-purge is fast, but not necessarily efficient, because it consumes storage for expired but not-yet-evicted content. After examining global or data center-level indexing for purge keys, we decided that wasn't viable due to increases in system complexity and the latency those indices could bring due to our network size. So instead, we opted for per-machine indexing, integrating indices directly alongside our cache proxies. This minimized network complexity, simplified reliability, and provided predictable scaling.

Nous devions revoir notre réflexion sur la façon de mieux stocker les clés de purge et quand supprimer le contenu purgé afin que nous puissions récupérer l'espace. Historiquement, lorsqu'un client purgeait par tag, préfixe ou nom d'hôte, CloudFlare marquerait le contenu expiré et permettrait de lui expulser plus tard. Ceci est connu comme paresseux car rien n'est activement retiré du disque. Lazy-purge est rapide, mais pas nécessairement efficace, car elle consomme du stockage pour un contenu expiré mais pas encore expulsé. Après avoir examiné l'indexation du niveau global ou du centre de données pour les clés de purge, nous avons décidé que cela n'était pas viable en raison de l'augmentation de la complexité du système et de la latence que ces indices pouvaient apporter en raison de la taille de notre réseau. Au lieu de cela, nous avons opté pour l'indexation par machine, intégrant les indices directement aux côtés de nos procurations de cache. Cette complexité du réseau minimisée, simplifié la fiabilité et a fourni une échelle prévisible.

After careful analysis and benchmarking, we selected RocksDB, an embedded key-value store that we could optimize for our needs, which formed the basis of CacheDB, our Rust-based service running alongside each cache proxy. CacheDB manages indexing and immediate purge execution (active purge), significantly reducing storage needs and freeing space for caching.

Après une analyse minutieuse et une analyse comparative, nous avons sélectionné RocksDB, un magasin de valeurs clés intégré que nous pourrions optimiser pour nos besoins, qui a constitué la base de CachedB, notre service basé sur la rouille fonctionnant aux côtés de chaque procuration de cache. CachedB gère l'indexation et l'exécution de la purge immédiate (purge active), réduisant considérablement les besoins de stockage et libérant l'espace pour la mise en cache.

Local queues within CacheDB buffer purge operations to ensure consistent throughput without latency spikes, while the cache proxies consult CacheDB to guarantee rapid, active purges. Our updated distribution pipeline broadcasts purges directly to CacheDB instances across machines, dramatically improving throughput and purge speed.

Les files d'attente locales dans les opérations de purge de tampon CachedB pour garantir un débit cohérent sans pics de latence, tandis que les procurations de cache consultent CachedB pour garantir des purges actives rapides. Notre pipeline de distribution mis à jour diffuse de purge directement aux instances CachedB sur les machines, améliorant considérablement le débit et la vitesse de purge.

Using CacheDB, we've reduced storage requirements 10x by eliminating lazy purge storage accumulation, instantly freeing valuable disk space. The freed storage enhances cache retention, boosting cache HIT ratios and minimizing origin egress. These savings in storage and increased throughput allowed us to scale to the point where we can offer Instant Purge to more customers.

En utilisant CachedB, nous avons réduit les exigences de stockage 10X en éliminant l'accumulation de stockage de purge paresseuse, libérant instantanément un espace disque précieux. Le stockage libéré améliore la rétention du cache, augmentant les ratios de coup de cache et minimisant la sortie d'origine. Ces économies de stockage et de débit accrus nous ont permis d'évoluer au point où nous pouvons offrir une purge instantanée à plus de clients.

For more information

Pour plus d'informations