Lektion9 Min.

Speicher rechnen: passt das Modell?

Ob ein Modell auf deinem Rechner läuft, entscheidet der Speicher – und lässt sich vor dem Download ausrechnen. Die Faustformel aus Parametern und Quantisierung, und was Kontext und Geschwindigkeit daran ändern.

Boaz Lichtenstein

Teil des Pfades Lokale KIStation 4 von 7Stufe 3 Experte

Die häufigste Enttäuschung mit lokalen Modellen: zwanzig Gigabyte heruntergeladen, und dann antwortet das Modell mit einem Wort pro Sekunde – oder gar nicht. Das lässt sich vorher ausrechnen.

Woraus ein Modell besteht

Ein Sprachmodell ist im Kern eine sehr lange Liste von Zahlen, den Parametern. Ihre Anzahl steht im Namen: „8B“ sind acht Milliarden, „27B“ siebenundzwanzig. Mehr Parameter bedeuten in der Regel mehr Können – und mehr Speicher.

Im Original belegt jeder Parameter 16 Bit. Ein Modell mit acht Milliarden Parametern wäre damit 16 Gigabyte groß.

Quantisierung: dasselbe Modell, kleiner

Quantisierung speichert jeden Parameter mit weniger Bit – gröber, aber fast gleich gut.

Fassung	Bit je Parameter	Qualität
Original	16	Referenz
8 Bit	8	praktisch nicht zu unterscheiden
4 Bit	etwa 4 bis 5	der übliche Kompromiss
3 Bit und weniger	unter 4	spürbar schlechter

Die 4-Bit-Fassung ist das, was Werkzeuge wie Ollama standardmäßig laden. Aus den 16 Gigabyte werden damit knapp fünf.

Die Faustformel

Für die übliche 4-Bit-Fassung:

Speicher in GB  ≈  Milliarden Parameter × 0,6

Modellgröße	Bedarf für das Modell
4B	etwa 2,5 GB
8B	etwa 5 GB
14B	etwa 8,5 GB
27B	etwa 16 GB
32B	etwa 19 GB
70B	etwa 42 GB

Das ist das Modell allein. Dazu kommt der Kontext.

Der Kontext kostet extra

Alles, was das Modell gerade „im Kopf“ hat – dein Auftrag, das Dokument, der bisherige Verlauf –, belegt zusätzlich Speicher. Bei einem kurzen Chat sind das einige hundert Megabyte, bei einem langen Dokument oder einer Agenten-Sitzung mehrere Gigabyte.

Rechne deshalb mit einem Viertel Reserve auf den Wert aus der Tabelle. Und denk an das, was sonst läuft: Browser, Tabellen, Videokonferenz.

Wo es hineinpassen muss

PC mit Grafikkarte: Schnell ist ein Modell nur, wenn es vollständig in den Grafikspeicher passt. Passt es nicht, wandert ein Teil in den normalen Arbeitsspeicher – es läuft dann noch, aber um ein Vielfaches langsamer.

Rechner mit gemeinsamem Speicher – etwa Macs mit Apple-Chips: Hier teilen sich System und Modell denselben Speicher. Ein Rechner mit 16 GB hat für das Modell nicht 16 GB frei, sondern vielleicht zehn.

Als Richtwerte für den Gesamtspeicher, mit Reserve gerechnet:

Speicher	Bequem nutzbar bis etwa
8 GB	4B
16 GB	12B bis 14B
24 GB	27B
32 GB	32B
64 GB	70B

Die Tabelle sagt, was läuft – nicht, ob es für deine Aufgabe reicht. Das zeigt nur ein Versuch mit echten Unterlagen. Und ob das Etikett „AI-PC“ an dieser Rechnung etwas ändert, klärt die nächste Station.

Groß und grob schlägt klein und fein

Stehst du zwischen einem 14B-Modell in 4 Bit und einem 8B-Modell in 8 Bit – beide brauchen ähnlich viel Speicher –, nimm das größere. Die zusätzlichen Parameter bringen mehr als die genauere Speicherung. Unterhalb von 4 Bit kehrt sich das um.

Geschwindigkeit

Gemessen wird in Token pro Sekunde; ein Token ist etwa ein Dreiviertelwort. Ab ungefähr zehn Token pro Sekunde fühlt sich ein Chat flüssig an. Für Agenten, die lange Texte lesen und schreiben, zählt jedes Mehr – was im Chat erträglich ist, macht eine Agenten-Sitzung zur Geduldsprobe.

Die Werkzeuge zeigen den Wert nach jeder Antwort an. Miss ihn einmal mit einem langen Dokument, nicht mit „Hallo“.