Granite 4.2 30B
Granite 4.2 30B braucht mit der Variante Q4_K_M rund 19,9 GB Speicher und läuft auf 176 von 414 geführten Geräten flüssig.
Mit dem wenigsten Speicher schafft es: ASUS ROG Strix SCAR 16 (2025), GeForce RTX 5090 Laptop GPU, 32 GB.
Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“). Die Tempowerte sind an veröffentlichten Messungen abgeglichen, aber nicht auf diesem Gerät gemessen.
- Anbieter
- IBM
- Parameter
- 29,3 Mrd.
- Längster Kontext
- 131.072 Token
- Lizenz
- apache-2.0
So starten Sie es mit Ollama:
$ ollama run hf.co/ibm-granite/granite-4.2-30b-GGUF:Q4_K_MGeräte, auf denen es flüssig läuft
Alle Tempowerte sind berechnet und an veröffentlichten Messungen abgeglichen, nicht auf dem Gerät gemessen. Mit * markierte Werte sind nicht abgeglichen und deshalb unsicher.
und 166 weitere
Grafikkarten, in die es ganz passt
| Grafikkarte | Urteil | Tempo | Speicher |
|---|---|---|---|
| NVIDIA GeForce RTX 4090, 24 GB | Läuft gut | 34 bis 42 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA GeForce RTX 3090 Ti, 24 GB | Läuft gut | 34 bis 42 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA GeForce RTX 3090, 24 GB | Läuft gut | 32 bis 39 Token/s | 24 GB davon 23,2 GB nutzbar |
| AMD Radeon RX 7900 XTX, 24 GB | Läuft gut | 26 bis 46 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA RTX A5000, 24 GB | Läuft gut | 27 bis 33 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA RTX PRO 4000 Blackwell, 24 GB | Läuft gut | 24 bis 29 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA RTX 4500 Ada Generation, 24 GB | Läuft gut | 16 bis 20 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA GeForce RTX 5090, 32 GB | Läuft gut | 55 bis 68 Token/s | 32 GB davon 31,2 GB nutzbar |
| NVIDIA RTX PRO 4500 Blackwell, 32 GB | Läuft gut | 31 bis 38 Token/s | 32 GB davon 31,2 GB nutzbar |
| AMD Radeon AI PRO R9700, 32 GB | Läuft gut | 19 bis 32 Token/s | 32 GB davon 31,2 GB nutzbar |
und 7 weitere
Alle Geräte und Grafikkarten für Granite 4.2 30B
Varianten
| Variante | Datei | Speicherbedarf | Startbefehl |
|---|---|---|---|
| Q3_K_M | 14,1 GB | 16,3 GB | ollama run hf.co/ibm-granite/granite-4.2-30b-GGUF:Q3_K_M |
| Q4_0 | 16,6 GB | 18,8 GB | ollama run hf.co/ibm-granite/granite-4.2-30b-GGUF:Q4_0 |
| Q4_K_M | 17,7 GB | 19,9 GB | ollama run hf.co/ibm-granite/granite-4.2-30b-GGUF:Q4_K_M |
| Q5_K_M | 20,8 GB | 23,1 GB | ollama run hf.co/ibm-granite/granite-4.2-30b-GGUF:Q5_K_M |
| Q6_K | 24,0 GB | 26,4 GB | ollama run hf.co/ibm-granite/granite-4.2-30b-GGUF:Q6_K |
| Q8_0 | 31,1 GB | 33,6 GB | ollama run hf.co/ibm-granite/granite-4.2-30b-GGUF:Q8_0 |
| BF16 | 58,6 GB | 61,6 GB | In mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar. |
Quelle: https://huggingface.co/ibm-granite/granite-4.2-30b-GGUF