Qwen3.5 122B A10B
Qwen3.5 122B A10B braucht mit der Variante Q4_K_M rund 79,0 GB Speicher und läuft auf 55 von 517 geführten Geräten flüssig.
Mit dem wenigsten Speicher schafft es: Apple Mac Studio (2023), M2 Ultra mit 60-Kern-GPU, 128 GB.
Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“). Die Tempowerte sind an veröffentlichten Messungen abgeglichen, aber nicht auf diesem Gerät gemessen.
- Anbieter
- Alibaba (Qwen)
- Parameter
- 122,1 Mrd., davon 10 Mrd. aktiv
- Längster Kontext
- 262.144 Token
- Lizenz
- apache-2.0
Geräte, auf denen es flüssig läuft
Alle Tempowerte sind berechnet und an veröffentlichten Messungen abgeglichen, nicht auf dem Gerät gemessen. Mit * markierte Werte sind nicht abgeglichen und deshalb unsicher.
und 45 weitere
Grafikkarten, in die es ganz passt
| Grafikkarte | Urteil | Tempo | Speicher |
|---|---|---|---|
| NVIDIA RTX PRO 6000 Blackwell, 96 GB | Läuft gut | 74 bis 112 Token/s | 96 GB davon 95,2 GB nutzbar |
Alle Geräte und Grafikkarten für Qwen3.5 122B A10B
Varianten
| Variante | Datei | Speicherbedarf | Startbefehl |
|---|---|---|---|
| Q3_K_M | 56,4 GB | 58,4 GB | In mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar. |
| Q4_K_M | 76,5 GB | 79,0 GB | In mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar. |
| Q5_K_M | 91,5 GB | 94,3 GB | In mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar. |
| Q6_K | 101,0 GB | 103,9 GB | In mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar. |
| Q8_0 | 129,9 GB | 133,4 GB | In mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar. |
| BF16 | 244,3 GB | 250,1 GB | In mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar. |
Quelle: https://huggingface.co/unsloth/Qwen3.5-122B-A10B-GGUF