Es entsteht keine Auftragsverarbeitung deiner Datei-Inhalte. Du brauchst keinen AVV mit gottrix, um vertrauliche oder geschäftliche Dokumente zu verarbeiten.
Hosting in DeutschlandWeltweite Auslieferung
Origin-Server bei Hetzner in Deutschland, weltweite Auslieferung über ein Content-Delivery-Netz. Deine Dateiinhalte werden dabei nie übertragen - sie verlassen dein Gerät nicht.
Ob ein Sprachmodell lokal läuft, entscheidet zuerst der Speicher. Der Rechner zerlegt den Bedarf in getrennte Teile: die Gewichte (Parameterzahl mal Bits je Gewicht geteilt durch 8), den KV-Cache für den genutzten Kontext, einen Laufzeitpuffer und eine sichtbare Unsicherheit. Sieben Milliarden Parameter mit 4 Bit ergeben 3,5 GB reine Gewichte, bevor irgendein Overhead dazukommt. Jede Größe steht doppelt da: in GB (10⁹ Byte) und in GiB (2³⁰ Byte), denn Grafikkarten und Arbeitsspeicher werden binär gezählt, Modelldateien oft dezimal.
Der KV-Cache wächst linear mit dem Kontext und folgt der Architektur: zweimal (Schlüssel und Werte) Schichten mal KV-Köpfe mal Kopfdimension mal Tokens mal Bytes je Element. Modelle mit Grouped-Query-Attention haben weniger KV-Köpfe als Abfrageköpfe und brauchen entsprechend weniger Cache. Bei Mixture-of-Experts zählt für den Speicher die Gesamtzahl der Parameter, weil alle Experten geladen sein müssen; die aktiven Parameter je Token bestimmen nur den Rechenaufwand. Die Tabelle zeigt dasselbe Modell in anderen Quantisierungsstufen, dazu kommen der größte Kontext und die höchste Bitzahl, die vollständig passen.
Mehrere Grafikkarten zählen nur zusammen, wenn deine Runtime die Schichten tatsächlich auf sie verteilt; ohne unterstützte Aufteilung sind zwei Karten mit je 8 GiB keine 16-GiB-Karte. Was nicht in den GPU-Speicher passt, kann in den Arbeitsspeicher ausgelagert werden; das Ergebnis nennt diesen Teil, sagt aber nichts über die Geschwindigkeit. Es sind keine Modellprofile hinterlegt: Die vorbelegten Werte sind ein editierbares Beispiel, kein bestimmtes Modell. Trage die Angaben aus der Modellkarte ein; alles wird im Browser gerechnet und nirgends gespeichert.
Kostenlos und ohne Konto - rechne so oft du willst, deine Eingaben bleiben auf deinem Gerät.
Technische Daten
Technische Daten
Eingabeformate
Formulareingaben (keine Datei)
Verarbeitung
Lokal im Browser (JavaScript)
Datei-Upload
Keiner
In 3 Schritten
Speicherart, VRAM je GPU, Anzahl und Aufteilung der GPUs sowie Arbeitsspeicher und Reserven eintragen.
Modellwerte aus der Modellkarte eintragen: Parameter, Bits je Gewicht, Schichten, KV-Köpfe, Kopfdimension und Kontext.
Ergebnis, Aufteilung in Gewichte, KV-Cache und Puffer, Auslagerung und die Quantisierungs-Alternativen ablesen.
Grenzen: Ein passender Speicherbedarf ist keine Zusage über Geschwindigkeit, Runtime-Unterstützung oder Treiber. Laufzeitpuffer und Reserven sind Annahmen; Runtimes brauchen je nach Version, Batchgröße und Backend mehr oder weniger. Die KV-Formel gilt für übliche Attention mit GQA/MQA; Sliding-Window-, MLA- oder Hybrid-Architekturen können deutlich weniger Cache brauchen. Es sind keine Modell- oder Hardwaredaten hinterlegt.
Häufige Fragen
Wie viel Speicher brauchen die Gewichte eines Modells?
Parameter mal Bits je Gewicht geteilt durch 8. Sieben Milliarden Parameter mit 4 Bit sind 3,5 GB oder rund 3,26 GiB, bevor KV-Cache und Puffer dazukommen. Quantisierungsformate mit Skalen liegen effektiv etwas über ihrer Nennbitzahl; trage dann die effektive Bitzahl ein (Dateigröße in Byte mal 8 geteilt durch die Parameterzahl).
Warum zeigt der Rechner GB und GiB?
Ein GB sind 10⁹ Byte, ein GiB sind 2³⁰ Byte, also etwa 7 Prozent mehr. Grafikkarten und Arbeitsspeicher werden binär gezählt, auch wenn auf der Packung GB steht; Modelldateien werden oft dezimal angegeben. Beide Werte stehen getrennt, damit nichts unbemerkt vermischt wird.
Zählen zwei Grafikkarten mit je 8 GB wie eine mit 16 GB?
Nur, wenn deine Runtime die Schichten auf beide Karten verteilt. Ohne unterstützte Aufteilung muss das Modell auf eine Karte passen, und der Rechner zählt nur deren Speicher. Auch mit Aufteilung braucht jede Karte ihre eigene Reserve.
Wie rechnet der Rechner Mixture-of-Experts-Modelle?
Für den Speicher mit den Gesamtparametern, weil alle Experten geladen sein müssen. Die aktiven Parameter je Token werden nur angezeigt; sie beeinflussen die Rechenarbeit, nicht den Platzbedarf.
Heißt „passt“, dass das Modell schnell läuft?
Nein. Der Rechner prüft nur den Speicher. Wie schnell ein Modell antwortet, hängt von Speicherbandbreite, Rechenleistung, Runtime und Auslagerung ab. Ein Teil im Arbeitsspeicher macht die Ausgabe meist deutlich langsamer.
LLM-VRAM-Rechner: kostenlos und ohne Konto?
Ja. Die Nutzung ist kostenlos und braucht kein Konto: Du kannst so oft rechnen, wie du willst, und deine Eingaben bleiben auf deinem Gerät.
Nur mit deiner Zustimmung messen wir mit Cookies anonymisiert die Nutzung, um gottrix zu verbessern. Deine Dateien bleiben immer lokal auf deinem Gerät. Datenschutz