gpt-oss 20B
gpt-oss 20B braucht mit der Variante Q4_K_M rund 12,8 GB Speicher und läuft auf 311 von 517 geführten Geräten flüssig.
Mit dem wenigsten Speicher schafft es: ASUS ROG Strix G16 (2025), GeForce RTX 5080 Laptop GPU, 16 GB.
Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“). Die Tempowerte sind an veröffentlichten Messungen abgeglichen, aber nicht auf diesem Gerät gemessen.
- Anbieter
- OpenAI
- Parameter
- 20,9 Mrd., davon 3,6 Mrd. aktiv
- Längster Kontext
- 131.072 Token
- Lizenz
- apache-2.0
So starten Sie es mit Ollama:
$ ollama run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_MGeräte, auf denen es flüssig läuft
Alle Tempowerte sind berechnet und an veröffentlichten Messungen abgeglichen, nicht auf dem Gerät gemessen. Mit * markierte Werte sind nicht abgeglichen und deshalb unsicher.
und 301 weitere
Grafikkarten, in die es ganz passt
| Grafikkarte | Urteil | Tempo | Speicher |
|---|---|---|---|
| AMD Radeon RX 9070, 16 GB | Läuft gut | 163 bis 283 Token/s * | 16 GB davon 15,2 GB nutzbar |
| AMD Radeon RX 9070 XT, 16 GB | Läuft gut | 163 bis 283 Token/s * | 16 GB davon 15,2 GB nutzbar |
| AMD Radeon RX 7800 XT, 16 GB | Läuft gut | 158 bis 275 Token/s * | 16 GB davon 15,2 GB nutzbar |
| AMD Radeon RX 7900 GRE, 16 GB | Läuft gut | 147 bis 256 Token/s * | 16 GB davon 15,2 GB nutzbar |
| AMD Radeon RX 6950 XT, 16 GB | Läuft gut | 147 bis 256 Token/s * | 16 GB davon 15,2 GB nutzbar |
| NVIDIA GeForce RTX 5080, 16 GB | Läuft gut | 159 bis 238 Token/s | 16 GB davon 15,2 GB nutzbar |
| NVIDIA GeForce RTX 5070 Ti, 16 GB | Läuft gut | 153 bis 229 Token/s | 16 GB davon 15,2 GB nutzbar |
| AMD Radeon RX 6800, 16 GB | Läuft gut | 133 bis 231 Token/s * | 16 GB davon 15,2 GB nutzbar |
| AMD Radeon RX 6800 XT, 16 GB | Läuft gut | 133 bis 231 Token/s * | 16 GB davon 15,2 GB nutzbar |
| AMD Radeon RX 6900 XT, 16 GB | Läuft gut | 133 bis 231 Token/s * | 16 GB davon 15,2 GB nutzbar |
und 29 weitere
Alle Geräte und Grafikkarten für gpt-oss 20B
Varianten
| Variante | Datei | Speicherbedarf | Startbefehl |
|---|---|---|---|
| Q4_0 | 11,5 GB | 12,6 GB | ollama run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_0 |
| Q3_K_M | 11,5 GB | 12,6 GB | ollama run hf.co/unsloth/gpt-oss-20b-GGUF:Q3_K_M |
| Q4_K_M | 11,6 GB | 12,8 GB | ollama run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M |
| Q5_K_M | 11,7 GB | 12,9 GB | ollama run hf.co/unsloth/gpt-oss-20b-GGUF:Q5_K_M |
| Q6_K | 12,0 GB | 13,2 GB | ollama run hf.co/unsloth/gpt-oss-20b-GGUF:Q6_K |
| Q8_0 | 12,1 GB | 13,3 GB | ollama run hf.co/unsloth/gpt-oss-20b-GGUF:Q8_0 |
| F16 | 13,8 GB | 15,0 GB | ollama run hf.co/unsloth/gpt-oss-20b-GGUF:F16 |