Qwen3.6 35B A3B
Qwen3.6 35B A3B braucht mit der Variante Q4_K_M rund 23,5 GB Speicher und läuft auf 142 von 414 geführten Geräten flüssig.
Mit dem wenigsten Speicher schafft es: Framework Desktop (2025), Ryzen AI Max 385 mit Radeon 8050S, 32 GB.
Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“). Die Tempowerte sind an veröffentlichten Messungen abgeglichen, aber nicht auf diesem Gerät gemessen.
- Anbieter
- Alibaba (Qwen)
- Parameter
- 34,7 Mrd., davon 3 Mrd. aktiv
- Längster Kontext
- 262.144 Token
- Lizenz
- apache-2.0
So starten Sie es mit Ollama:
$ ollama run hf.co/unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q4_K_MGeräte, auf denen es flüssig läuft
Alle Tempowerte sind berechnet und an veröffentlichten Messungen abgeglichen, nicht auf dem Gerät gemessen. Mit * markierte Werte sind nicht abgeglichen und deshalb unsicher.
und 132 weitere
Grafikkarten, in die es ganz passt
| Grafikkarte | Urteil | Tempo | Speicher |
|---|---|---|---|
| NVIDIA GeForce RTX 5090, 32 GB | Läuft gut | 245 bis 367 Token/s | 32 GB davon 31,2 GB nutzbar |
| AMD Radeon AI PRO R9700, 32 GB | Läuft gut | 173 bis 302 Token/s * | 32 GB davon 31,2 GB nutzbar |
| AMD Radeon PRO W7800, 32 GB | Läuft gut | 157 bis 273 Token/s * | 32 GB davon 31,2 GB nutzbar |
| NVIDIA RTX PRO 4500 Blackwell, 32 GB | Läuft gut | 169 bis 253 Token/s | 32 GB davon 31,2 GB nutzbar |
| NVIDIA RTX 5000 Ada Generation, 32 GB | Läuft gut | 126 bis 188 Token/s | 32 GB davon 31,2 GB nutzbar |
| AMD Radeon PRO W7900, 48 GB | Läuft gut | 224 bis 390 Token/s * | 48 GB davon 47,2 GB nutzbar |
| NVIDIA RTX PRO 5000 Blackwell, 48 GB | Läuft gut | 213 bis 319 Token/s | 48 GB davon 47,2 GB nutzbar |
| NVIDIA RTX 6000 Ada Generation, 48 GB | Läuft gut | 176 bis 264 Token/s | 48 GB davon 47,2 GB nutzbar |
| NVIDIA RTX A6000, 48 GB | Läuft gut | 153 bis 229 Token/s | 48 GB davon 47,2 GB nutzbar |
| NVIDIA RTX PRO 6000 Blackwell, 96 GB | Läuft gut | 245 bis 367 Token/s | 96 GB davon 95,2 GB nutzbar |
Alle Geräte und Grafikkarten für Qwen3.6 35B A3B
Varianten
| Variante | Datei | Speicherbedarf | Startbefehl |
|---|---|---|---|
| Q3_K_M | 16,6 GB | 17,8 GB | ollama run hf.co/unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q3_K_M |
| Q4_K_M | 22,1 GB | 23,5 GB | ollama run hf.co/unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q4_K_M |
| Q5_K_M | 26,5 GB | 27,9 GB | ollama run hf.co/unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q5_K_M |
| Q6_K | 29,3 GB | 30,8 GB | ollama run hf.co/unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q6_K |
| Q8_0 | 36,9 GB | 38,5 GB | ollama run hf.co/unsloth/Qwen3.6-35B-A3B-GGUF:Q8_0 |
| BF16 | 69,4 GB | 71,6 GB | ollama run qwen3.6:35b-a3b-bf16 |