Nœuds d'archive : le summum des configurations de nœuds

Running an archive node for a blockchain like Ethereum or Polygon is an undertaking that’s both labor-intensive and costly. It’s more or less the pinnacle of node setups. The node will require good hardware, maintenance (i.e., good monitoring), and also time—at least whenever monitoring kicks in or a new release is due. Typically, one will only take this on for a specific reason.

Exécuter un nœud d'archive pour une blockchain comme Ethereum ou Polygon est une entreprise à la fois laborieuse et coûteuse. C'est plus ou moins le summum des configurations de nœuds. Le nœud nécessitera un bon matériel, une maintenance (c'est-à-dire une bonne surveillance) et également du temps, au moins chaque fois que la surveillance démarre ou qu'une nouvelle version est attendue. En règle générale, on ne s’en charge que pour une raison spécifique.

An archive node is more than a full node. A full node “only” stores the entire blockchain, whereas an archive node additionally stores every state that each smart contract and transaction ever had (i.e., at every block height). However, the additional data of an archive node can be reconstructed from the data of a full node.

Un nœud d'archive est plus qu'un nœud complet. Un nœud complet stocke « seulement » l'intégralité de la blockchain, tandis qu'un nœud d'archive stocke en outre chaque état que chaque contrat intelligent et transaction a jamais eu (c'est-à-dire à chaque hauteur de bloc). Toutefois, les données supplémentaires d'un nœud d'archive peuvent être reconstruites à partir des données d'un nœud complet.

Since this often leads to discussions on Twitter or online forums, I like to bring an analogy to Bitcoin: An archive node for Ethereum is akin to a Bitcoin node that stores the UTXO (Unspent Transaction Output) set valid at every block height. This isn’t particularly interesting for Bitcoin because (a) these data can be reconstructed much faster and (b) they don’t hold any special informational value. It’s different with Ethereum because there are smart contracts whose intermediate states are stored, making it possible to directly query, for example, how much USDT an account had at any given time (block height).

Comme cela conduit souvent à des discussions sur Twitter ou sur des forums en ligne, j'aime apporter une analogie avec Bitcoin : un nœud d'archive pour Ethereum s'apparente à un nœud Bitcoin qui stocke l'ensemble UTXO (Unspent Transaction Output) valide à chaque hauteur de bloc. Cela n'est pas particulièrement intéressant pour Bitcoin car (a) ces données peuvent être reconstruites beaucoup plus rapidement et (b) elles n'ont aucune valeur informationnelle particulière. C'est différent avec Ethereum car il existe des contrats intelligents dont les états intermédiaires sont stockés, permettant d'interroger directement, par exemple, combien d'USDT un compte possédait à un instant donné (hauteur du bloc).

I synchronized my first archive node for the Ethereum ecosystem in 2019. It was out of pure curiosity: I had purchased a lot of server hardware for a project (96 cores, 768 GiB RAM, over 40 TiB SSD storage) and wanted to push it to the limit. So, I synchronized an archive node for Ethereum using geth, which took exactly 7 days and 22 hours. I still remember it so precisely because I discussed the topic on coinforum.de and documented my progress.

J'ai synchronisé mon premier nœud d'archive pour l'écosystème Ethereum en 2019. C'était par pure curiosité : j'avais acheté beaucoup de matériel serveur pour un projet (96 cœurs, 768 Go de RAM, plus de 40 TiB de stockage SSD) et je voulais le pousser. à la limite. J'ai donc synchronisé un nœud d'archive pour Ethereum en utilisant geth, ce qui a pris exactement 7 jours et 22 heures. Je m'en souviens encore si précisément parce que j'ai discuté du sujet sur coinforum.de et documenté mes progrès.

Long-term, better reasons are needed. That’s a significant difference between Ethereum and Bitcoin. Bitcoiners synchronize the entire blockchain out of idealism. In Ethereum, most users utilize node providers like Infura or Alchemy. These providers allow roughly 100,000 free API calls, sufficient for smaller projects and wallets.

À long terme, de meilleures raisons sont nécessaires. C'est une différence significative entre Ethereum et Bitcoin. Les Bitcoiners synchronisent l’ensemble de la blockchain par idéalisme. Dans Ethereum, la plupart des utilisateurs utilisent des fournisseurs de nœuds comme Infura ou Alchemy. Ces fournisseurs autorisent environ 100 000 appels API gratuits, suffisants pour les petits projets et portefeuilles.

When and for whom is an archive node useful?

Quand et pour qui un nœud d’archive est-il utile ?

It becomes critical when one wants or needs to conduct blockchain analyses. If, for instance, you want to know which accounts held what amounts of a token on Ethereum at any time, you need to scan the blockchain block by block to find all addresses and then query the historical balances for each ERC20 transaction. This quickly exceeds the free API calls provided by Alchemy and Infura and can become expensive fast. In such cases, an archive node is worthwhile because scanning all blocks leads to as many API calls as there are blocks in the blockchain. Ethereum currently has over 20 million blocks.

Cela devient critique lorsque l’on veut ou doit effectuer des analyses de blockchain. Si, par exemple, vous souhaitez savoir quels comptes détenaient quels montants d'un jeton sur Ethereum à tout moment, vous devez analyser la blockchain bloc par bloc pour trouver toutes les adresses, puis interroger les soldes historiques de chaque transaction ERC20. Cela dépasse rapidement les appels API gratuits fournis par Alchemy et Infura et peut rapidement devenir coûteux. Dans de tels cas, un nœud d’archive est intéressant car l’analyse de tous les blocs entraîne autant d’appels API qu’il y a de blocs dans la blockchain. Ethereum compte actuellement plus de 20 millions de blocs.

I now operate such nodes for clients. The reasons can sometimes be absurd. For instance, a company offers assistance in complying with EU regulations, which require demonstrating the CO2 consumption for each crypto asset. If you have a token on Ethereum, you must trace back all past transactions and swaps to calculate the gas used by the token. The gas corresponds to the required computational power and thus serves as an indicator of CO2 consumption.

J'exploite maintenant de tels nœuds pour les clients. Les raisons peuvent parfois être absurdes. Par exemple, une entreprise propose une assistance pour se conformer aux réglementations de l’UE, qui exigent de démontrer la consommation de CO2 pour chaque actif cryptographique. Si vous possédez un token sur Ethereum, vous devez retracer toutes les transactions et swaps passés pour calculer le gaz utilisé par le token. Le gaz correspond à la puissance de calcul requise et sert ainsi d’indicateur de consommation de CO2.

This is, of course, ludicrous. As a Proof-of-Stake blockchain, Ethereum consumes very little energy, and synchronizing an archive node likely generates far more CO2 than you could ever save through the regulation (if at all). But it’s not my job to ask such questions, but rather to set up nodes.

C’est évidemment ridicule. En tant que blockchain de preuve de participation, Ethereum consomme très peu d'énergie et la synchronisation d'un nœud d'archive génère probablement beaucoup plus de CO2 que vous ne pourriez jamais économiser grâce à la réglementation (voire pas du tout). Mais ce n'est pas mon travail de poser de telles questions, mais plutôt de mettre en place des nœuds.

What resources are needed to operate an Ethereum archive node?

Quelles ressources sont nécessaires pour faire fonctionner un nœud d’archive Ethereum ?

The differences between nodes and clients can be substantial. I have experience with Ethereum, Polygon, and Solana.

Les différences entre les nœuds et les clients peuvent être substantielles. J'ai de l'expérience avec Ethereum, Polygon et Solana.

Using the Nethermind client, Ethereum requires about 15 terabytes of storage for the execution layer data, 8 CPU cores (preferably 16 for synchronization), and 128 gigabytes of RAM. An alternative client is Erigon, which requires only three terabytes of data. Erigon stores data differently than Nethermind, using a flat architecture that only saves deltas between some blocks. This may result in slightly longer query times for historical data but saves a lot of space.

En utilisant le client Nethermind, Ethereum nécessite environ 15 téraoctets de stockage pour les données de la couche d'exécution, 8 cœurs de processeur (de préférence 16 pour la synchronisation) et 128 Go de RAM. Un client alternatif est Erigon, qui ne nécessite que trois téraoctets de données. Erigon stocke les données différemment de Nethermind, en utilisant une architecture plate qui enregistre uniquement les deltas entre certains blocs. Cela peut entraîner des temps d'interrogation légèrement plus longs pour les données historiques, mais cela permet d'économiser beaucoup d'espace.

For a server, the demand is moderate. Once synchronized, less is needed. The biggest challenge is the hard drives, or rather the SSDs. To understand why, you must know how smart contracts work with the Ethereum Virtual Machine (EVM). I’ll keep it brief: Each smart contract has its own virtual memory space, which may load different parts depending on the account. This leads to numerous read and write operations (I/O) with each new block and during synchronization.

Pour un serveur, la demande est modérée. Une fois synchronisé, il en faut moins. Le plus gros défi concerne les disques durs, ou plutôt les SSD. Pour comprendre pourquoi, vous devez savoir comment fonctionnent les contrats intelligents avec la machine virtuelle Ethereum (EVM). Je serai bref : chaque contrat intelligent possède son propre espace de mémoire virtuelle, qui peut charger différentes parties en fonction du compte. Cela conduit à de nombreuses opérations de lecture et d'écriture (E/S) à chaque nouveau bloc et lors de la synchronisation.

Therefore, traditional hard drives (HDDs) are outdated; SSDs are needed. Users of Nethermind must chain several SSDs together to store at least 15 terabytes. This can quickly cost a four-figure amount if

Par conséquent, les disques durs traditionnels (HDD) sont obsolètes ; Des SSD sont nécessaires. Les utilisateurs de Nethermind doivent enchaîner plusieurs SSD pour stocker au moins 15 téraoctets. Cela peut vite coûter une somme à quatre chiffres si