Welche Hardware für gpt-oss 20B?

gpt-oss 20B braucht mit der Variante Q4_K_M rund 12,8 GB Speicher und läuft auf 311 von 517 geführten Geräten flüssig.

Gerechnet mit Variante:Q4_0Q3_K_MQ4_K_MQ5_K_MQ6_KQ8_0F16

Sortiert nach dem kleinsten Speicher, der reicht, bei gleichem Speicher nach Tempo. Preise folgen. Grafikkarten sind ohne Auslagerung in den Arbeitsspeicher gerechnet. Alle Tempowerte sind berechnet und an veröffentlichten Messungen abgeglichen, nicht auf dem Gerät gemessen. Mit * markierte Werte sind nicht abgeglichen und deshalb unsicher.

Geräte

Grafikkarten, in die es ganz passt