Archivknoten: Der Gipfel der Knoten-Setups

Running an archive node for a blockchain like Ethereum or Polygon is an undertaking that’s both labor-intensive and costly. It’s more or less the pinnacle of node setups. The node will require good hardware, maintenance (i.e., good monitoring), and also time—at least whenever monitoring kicks in or a new release is due. Typically, one will only take this on for a specific reason.

Der Betrieb eines Archivknotens für eine Blockchain wie Ethereum oder Polygon ist ein arbeitsintensives und kostspieliges Unterfangen. Es ist mehr oder weniger der Höhepunkt der Knoten-Setups. Der Knoten benötigt gute Hardware, Wartung (d. h. gute Überwachung) und auch Zeit – zumindest immer dann, wenn die Überwachung einsetzt oder eine neue Version fällig ist. Normalerweise wird man dies nur aus einem bestimmten Grund in Angriff nehmen.

An archive node is more than a full node. A full node “only” stores the entire blockchain, whereas an archive node additionally stores every state that each smart contract and transaction ever had (i.e., at every block height). However, the additional data of an archive node can be reconstructed from the data of a full node.

Ein Archivknoten ist mehr als ein vollständiger Knoten. Ein Full Node speichert „nur“ die gesamte Blockchain, wohingegen ein Archive Node zusätzlich jeden Zustand speichert, den jeder Smart Contract und jede Transaktion jemals hatte (also auf jeder Blockhöhe). Allerdings können die Zusatzdaten eines Archivknotens aus den Daten eines Vollknotens rekonstruiert werden.

Since this often leads to discussions on Twitter or online forums, I like to bring an analogy to Bitcoin: An archive node for Ethereum is akin to a Bitcoin node that stores the UTXO (Unspent Transaction Output) set valid at every block height. This isn’t particularly interesting for Bitcoin because (a) these data can be reconstructed much faster and (b) they don’t hold any special informational value. It’s different with Ethereum because there are smart contracts whose intermediate states are stored, making it possible to directly query, for example, how much USDT an account had at any given time (block height).

Da dies häufig zu Diskussionen auf Twitter oder in Online-Foren führt, möchte ich eine Analogie zu Bitcoin anführen: Ein Archivknoten für Ethereum ähnelt einem Bitcoin-Knoten, der den UTXO-Satz (Unspent Transaction Output) speichert, der bei jeder Blockhöhe gültig ist. Dies ist für Bitcoin nicht besonders interessant, da (a) diese Daten viel schneller rekonstruiert werden können und (b) sie keinen besonderen Informationswert haben. Bei Ethereum ist das anders, denn dort gibt es Smart Contracts, deren Zwischenstände gespeichert werden und so beispielsweise direkt abgefragt werden kann, wie viel USDT ein Konto zu einem bestimmten Zeitpunkt hatte (Blockhöhe).

I synchronized my first archive node for the Ethereum ecosystem in 2019. It was out of pure curiosity: I had purchased a lot of server hardware for a project (96 cores, 768 GiB RAM, over 40 TiB SSD storage) and wanted to push it to the limit. So, I synchronized an archive node for Ethereum using geth, which took exactly 7 days and 22 hours. I still remember it so precisely because I discussed the topic on coinforum.de and documented my progress.

Ich habe meinen ersten Archivknoten für das Ethereum-Ökosystem im Jahr 2019 synchronisiert. Es war reine Neugier: Ich hatte eine Menge Server-Hardware für ein Projekt gekauft (96 Kerne, 768 GiB RAM, über 40 TiB SSD-Speicher) und wollte es vorantreiben bis an die Grenze. Also habe ich einen Archivknoten für Ethereum mit Geth synchronisiert, was genau 7 Tage und 22 Stunden gedauert hat. Ich erinnere mich noch so genau daran, weil ich das Thema auf Coinforum.de besprochen und meine Fortschritte dokumentiert habe.

Long-term, better reasons are needed. That’s a significant difference between Ethereum and Bitcoin. Bitcoiners synchronize the entire blockchain out of idealism. In Ethereum, most users utilize node providers like Infura or Alchemy. These providers allow roughly 100,000 free API calls, sufficient for smaller projects and wallets.

Es braucht langfristige, bessere Gründe. Das ist ein wesentlicher Unterschied zwischen Ethereum und Bitcoin. Bitcoiner synchronisieren aus Idealismus die gesamte Blockchain. In Ethereum nutzen die meisten Benutzer Knotenanbieter wie Infura oder Alchemy. Diese Anbieter ermöglichen rund 100.000 kostenlose API-Aufrufe, ausreichend für kleinere Projekte und Geldbörsen.

When and for whom is an archive node useful?

Wann und für wen ist ein Archivknoten sinnvoll?

It becomes critical when one wants or needs to conduct blockchain analyses. If, for instance, you want to know which accounts held what amounts of a token on Ethereum at any time, you need to scan the blockchain block by block to find all addresses and then query the historical balances for each ERC20 transaction. This quickly exceeds the free API calls provided by Alchemy and Infura and can become expensive fast. In such cases, an archive node is worthwhile because scanning all blocks leads to as many API calls as there are blocks in the blockchain. Ethereum currently has over 20 million blocks.

Kritisch wird es, wenn man Blockchain-Analysen durchführen möchte oder muss. Wenn Sie beispielsweise jederzeit wissen möchten, auf welchen Konten sich welche Beträge eines Tokens auf Ethereum befanden, müssen Sie die Blockchain Block für Block scannen, um alle Adressen zu finden, und dann die historischen Salden für jede ERC20-Transaktion abfragen. Dies übersteigt schnell die von Alchemy und Infura bereitgestellten kostenlosen API-Aufrufe und kann schnell teuer werden. In solchen Fällen lohnt sich ein Archivknoten, da das Scannen aller Blöcke zu so vielen API-Aufrufen führt, wie Blöcke in der Blockchain vorhanden sind. Ethereum hat derzeit über 20 Millionen Blöcke.

I now operate such nodes for clients. The reasons can sometimes be absurd. For instance, a company offers assistance in complying with EU regulations, which require demonstrating the CO2 consumption for each crypto asset. If you have a token on Ethereum, you must trace back all past transactions and swaps to calculate the gas used by the token. The gas corresponds to the required computational power and thus serves as an indicator of CO2 consumption.

Mittlerweile betreibe ich solche Knoten für Kunden. Die Gründe können manchmal absurd sein. Beispielsweise bietet ein Unternehmen Unterstützung bei der Einhaltung von EU-Vorschriften an, die den Nachweis des CO2-Verbrauchs für jedes Krypto-Asset erfordern. Wenn Sie einen Token auf Ethereum haben, müssen Sie alle vergangenen Transaktionen und Swaps zurückverfolgen, um den Gasverbrauch des Tokens zu berechnen. Das Gas entspricht der benötigten Rechenleistung und dient somit als Indikator für den CO2-Verbrauch.

This is, of course, ludicrous. As a Proof-of-Stake blockchain, Ethereum consumes very little energy, and synchronizing an archive node likely generates far more CO2 than you could ever save through the regulation (if at all). But it’s not my job to ask such questions, but rather to set up nodes.

Das ist natürlich lächerlich. Als Proof-of-Stake-Blockchain verbraucht Ethereum sehr wenig Energie und die Synchronisierung eines Archivknotens erzeugt wahrscheinlich weit mehr CO2, als Sie durch die Regulierung jemals einsparen könnten (wenn überhaupt). Aber es ist nicht meine Aufgabe, solche Fragen zu stellen, sondern Knoten einzurichten.

What resources are needed to operate an Ethereum archive node?

Welche Ressourcen werden für den Betrieb eines Ethereum-Archivknotens benötigt?

The differences between nodes and clients can be substantial. I have experience with Ethereum, Polygon, and Solana.

Die Unterschiede zwischen Knoten und Clients können erheblich sein. Ich habe Erfahrung mit Ethereum, Polygon und Solana.

Using the Nethermind client, Ethereum requires about 15 terabytes of storage for the execution layer data, 8 CPU cores (preferably 16 for synchronization), and 128 gigabytes of RAM. An alternative client is Erigon, which requires only three terabytes of data. Erigon stores data differently than Nethermind, using a flat architecture that only saves deltas between some blocks. This may result in slightly longer query times for historical data but saves a lot of space.

Bei Verwendung des Nethermind-Clients benötigt Ethereum etwa 15 Terabyte Speicher für die Daten der Ausführungsschicht, 8 CPU-Kerne (vorzugsweise 16 für die Synchronisierung) und 128 Gigabyte RAM. Ein alternativer Client ist Erigon, der nur drei Terabyte Daten benötigt. Erigon speichert Daten anders als Nethermind und verwendet eine flache Architektur, die nur Deltas zwischen einigen Blöcken speichert. Dies führt möglicherweise zu etwas längeren Abfragezeiten für historische Daten, spart aber viel Platz.

For a server, the demand is moderate. Once synchronized, less is needed. The biggest challenge is the hard drives, or rather the SSDs. To understand why, you must know how smart contracts work with the Ethereum Virtual Machine (EVM). I’ll keep it brief: Each smart contract has its own virtual memory space, which may load different parts depending on the account. This leads to numerous read and write operations (I/O) with each new block and during synchronization.

Für einen Server sind die Anforderungen moderat. Nach der Synchronisierung wird weniger benötigt. Die größte Herausforderung sind die Festplatten bzw. SSDs. Um zu verstehen, warum, müssen Sie wissen, wie Smart Contracts mit der Ethereum Virtual Machine (EVM) funktionieren. Ich fasse es kurz: Jeder Smart Contract verfügt über einen eigenen virtuellen Speicherplatz, der je nach Konto unterschiedliche Teile laden kann. Dies führt zu zahlreichen Lese- und Schreibvorgängen (I/O) bei jedem neuen Block und bei der Synchronisation.

Therefore, traditional hard drives (HDDs) are outdated; SSDs are needed. Users of Nethermind must chain several SSDs together to store at least 15 terabytes. This can quickly cost a four-figure amount if

Daher sind herkömmliche Festplatten (HDDs) veraltet; SSDs werden benötigt. Nutzer von Nethermind müssen mehrere SSDs miteinander verketten, um mindestens 15 Terabyte zu speichern. Das kann schnell einen vierstelligen Betrag kosten