Jemand aus Ihrem Team hat bereits eine RTX-6000-Ada-Workstation kalkuliert. Vielleicht kam es aus einer Herstellerpräsentation, vielleicht aus einem Forum-Thread über das lokale Llama-Betreiben, aber die einprägsame Zahl lag irgendwo zwischen CHF 15 000 und 30 000, einmalig gezahlt, dann keine monatlichen Rechnungen mehr. Das ist das Pitch für einen lokalen Inference-Cluster. Aber so einfach ist die Rechnung nicht.
Dieser Artikel richtet sich an Teams, die bereits beschlossen haben, aus Gründen der Datensouveränität, vertraglicher Formulierungen oder Berufsgeheimnispflicht, dass Inferenz auf Ihrer eigenen Hardware laufen muss. Wenn Sie noch wägen, ob Sie überhaupt on-premise gehen sollen, deckt unser Begleitartikel darüber, wer wirklich On-Premise-AI baut diese Entscheidung ab: die Kompetenzlücke, die Datenlokalitätsfrage, und wann die API immer noch gewinnt. Dieser hier setzt voraus, Sie haben sich bereits entschieden, und führt Sie durch, was ein lokaler Inference-Cluster wirklich ist, sobald Sie ihn gekauft haben. Und ob ein darauf laufender Workflow selbst gut entworfen ist, ist eine separate Frage. Diese decken wir in wie wir Prozesse um Agenten herum neugestalten ab, anstatt KI zu einem bestehenden Prozess hinzuzufügen.
Ein lokaler Inference-Cluster CHF 15 000 bis 30 000 kostet rund CHF 671 pro Monat, wenn Sie die Hardware über drei Jahre amortisieren und realistische Schweizer Netzstromtarife einrechnen. Gegenüber einem gemischten API-Tarif von etwa CHF 4,60 pro Million Tokens für echten Agent-Traffic trägt sich dieser Fixkostenblock nur bei etwa 146 Millionen Tokens pro Monat mathematisch selbst, und realistischer bei 250 bis 300 Millionen, wenn Sie einrechnen, wie sublineares Concurrency-Scaling funktioniert statt der sauberen Multiplikation, die naive Prognosen annehmen. Ein 20-köpfiges Team, das täglich 50 Agent-Aufrufe macht (Veranschaulichung statt Marktstatistik), erreicht nur etwa 66 Millionen Tokens pro Monat. Die ehrliche Antwort ist: Lokale Inferenz auf dieser Stufe ist grundsätzlich eine Datensouveränitätsentscheidung. Kaufen Sie das nicht in der Erwartung zu sparen, denn für die meisten KMU trägt die Rechnung unten das nicht.
Was CHF 15 000 bis 30 000 wirklich kauft
Drei Hardware-Wege fallen Mitte 2026 in diese Budget-Spanne, und ein vierter verdient Erwähnung gerade weil er nicht hineinpasst.
RTX 6000 Ada oder die neuere RTX Pro 6000 Blackwell, eingebaut in ein Workstation-Chassis (Lenovo ThinkStation, Dell Precision), ist das Nächste, das es zu einem Standard gibt. Die Ada-Karte hat 48 GB VRAM bei 300W und eine komplette Workstation kostet rund CHF 15 000 bis 18 000. Upgrade auf die Blackwell-Karte mit 96 GB bei 600W und die gleiche Konfiguration geht gegen CHF 25 000 bis 30 000, das Top dieser Spanne.
Eine einzelne RTX 5090 ist die preisgünstige Consumer-Variante: 32 GB VRAM, komplette Konfiguration um CHF 8 000 bis 12 000. Sie hat keine ECC-Memory und keinen Quadro-Treiber-Support, aber viele Praktiker fahren sie trotzdem, sobald sie ihren Stack optimiert haben.
Eine generalüberholte RTX A6000 landet in der gleichen CHF-8 000-bis-12 000-Spanne, während Unternehmen 2026 Ampere-Hardware ausmustern. Sie läuft 10 bis 15 Prozent langsamer als die Ada-Variante bei Inferenz, bietet aber die gleichen 48 GB.
Der Mac Studio M4 Max ist der Ausreisser, und nicht in die Richtung, die Sie erwarten würden. Eine 64-GB-Unified-Memory-Konfiguration kostet rund CHF 3 000 bis 4 500, dramatisch weniger als jeder NVIDIA-Weg oben, und nicht die teurere, stillere Option am Top des Budgets. Sie braucht keine separate GPU zu beschaffen, läuft Inferenz über Apples MLX-Framework statt CUDA, und seine Kostenersparnis zählt mehr als die Laufruhe.
Die Zahl, die hier mehr als der Preis zählt, ist Stromverbrauch. Ein Mac Studio verbraucht rund 60 Watt insgesamt, gegen 600 Watt bis zu einem vollen Kilowatt für eine komplette NVIDIA-Workstation, konsistent mit unabhängigem Stromspartest der Inferenz-Hardware. Das entscheidet, wo der Rechner stehen kann. Der Mac Studio steht auf einem Schreibtisch und läuft stumm; die NVIDIA-Systeme brauchen eine dedizierte 16-Ampere-Schaltung und echte Belüftung. Sie laufen auch unter Last mit 50 bis 65 dBA, laut genug um es im Telefonat zu hören. Ein paar Teams zahlen CHF 2 000 bis 5 000 mehr für eine Flüssigkeitskühlanlage, um das zu vermeiden.
Keines dieser Systeme braucht einen Serverraum, nur einen Ort mit Strom und Luftstrom, der bei den NVIDIA-Varianten nicht der Schreibtisch von jemandem ist, plus jemand Technisches genug um Hardware zu installieren und Treiber aufzusetzen.
Welche Open-Weight-Modelle passen in diese VRAM-Spanne
Der verfügbare VRAM entscheidet, welches Modell passt. Bei 48 GB (der Obergrenze für Ada- und A6000-Karten) läuft ein 32-Milliarden-Parameter-Dichte-Modell bequem bei Q5- oder Q6-Quantisierung mit Platz für ein anständiges Context-Window. Qwen 3.5 27B und ähnliche dichte Mistral-Modelle sind hier zu Hause. Ein 70B-Modell in 48 GB bei Q4 reinzuzwängen ist technisch möglich, lässt aber wenig Spielraum für gleichzeitige Nutzer oder lange Kontexte. behandeln Sie das als Grenzfall, nicht als Standard.
Upgrade auf 96 GB der Blackwell-Karte oder 64 GB Unified Memory des Mac Studio, und 70B-Klasse-Modelle bei Q4-Quantisierung werden zur komfortablen Norm. Llama 3.3 70B und Qwen 2.5 72B passen beide mit Platz für ein echtes Context-Window und ein paar gleichzeitige Anfragen. Metas Llama 4 Scout, ein Mixture-of-Experts-Modell mit 17 Milliarden aktiven aber 109 Milliarden Gesamt-Parametern, passt auch auf die grösseren Karten, wenn quantisiert, und verträgt sich gut mit längeren Kontextaufgaben.
Was nicht passt, zählt genau so wie was passt. Mistral Large 3, einer der stärksten voll open-weight Reasoner Mitte 2026, trägt 675 Milliarden Gesamt-Parameter und braucht zwei bis vier H100-Klasse-GPUs auch bei aggressiver Quantisierung. Das ist klar Enterprise-Cluster-Gebiet, und keine Quantisierungs-Trickserei bringt es auf eine einzelne Workstation-Karte.
Speziell bei Tool-Calling führen die kleineren Qwen-3.5-Varianten unabhängige Benchmarks bei Open-Weight-Tool-Calling-Performance. Leaderboards sagen aber nicht zuverlässig vorher, wie sich ein Modell gegen Ihren eigenen Tool-Satz bei der Quantisierungsstufe, die Sie fahren wollen, mit Ihrem Prompt-Template verhält. Testen Sie die Tool-Definitionen des Agenten gegen diesen exakten Stack, bevor Sie sich auf ein Produktionsmodell festlegen.
Die ehrliche Durchsatz-Grenze
Eine einzelne Workstation-GPU funktioniert nicht wie ein API-Endpoint mit unbegrenzter Concurrency. Bei einem 70B-Modell in Q4-Quantisierung liefern die RTX 6000 Ada und A6000 rund 40 bis 50 Tokens pro Sekunde für einen Nutzer und halten sich für 4 bis 10 gleichzeitige Nutzer, bevor Antwortzeiten über wenige Sekunden steigen. Das nächste veröffentlichte Concurrency-Benchmark läuft ein 27B-Modell auf der teureren Blackwell-Karte statt des Ada/A6000-Systems dieses Artikels. Es mass 46 Tokens pro Sekunde für einen Nutzer bei 1K-Kontext, fallend auf rund 26 bis 30 Tokens pro Sekunde pro Stream bei drei gleichzeitigen Nutzern. Der Gesamt-Durchsatz war noch am Steigen statt zusammenzubrechen.
Jenseits von 10 bis 15 gleichzeitigen Anfragen läuft der KV-Cache (die GPU-Memory, die aktiven Gesprächszustand hält) voll. Der Server swappt dann diesen Zustand zur System-RAM, um weiterzumachen. Jeder Swap kostet Latenz, und ab einem Punkt verlangsamt sich das ganze System für alle verbundenen statt elegant nur die neueste Anfrage fehlschlagen zu lassen.
Der Mac Studio tauscht Geschwindigkeit gegen Ruhe: 20 bis 28 Tokens pro Sekunde für einen Einzelnutzer auf einem 70B-Modell. Diese Decke begrenzt es wahrscheinlich auf 2 bis 5 gleichzeitige Nutzer, da niemand rigorose Concurrency-Benchmarks für ihn veröffentlicht hat. Die RTX 5090 läuft ein wenig schneller als die Ada-Karte für einen Einzelnutzer, im 60-bis-70-Tokens-pro-Sekunde-Bereich, aber teilt die gleichen Concurrency-Limits.
Das ist Kapazität für ein Internalteam-Tool. Es fällt weit hinter das, was ein kundengerichtetes Support-Widget oder ein Callcenter braucht, und es so zu behandeln, ist der schnellste Weg, wer immer danach gefragt hat, zu enttäuschen.
Die Serving-Schicht: vLLM, SGLang oder Ollama
Drei Inferenz-Server decken 2026 praktisch alle Workstation-Deployments ab, und zwischen ihnen zu wählen zählt mehr als zwischen GPUs zu wählen.
vLLM ist der Standard für alles mit mehr als einem Nutzer. Der Haupttrick, PagedAttention, nutzt GPU-Memory für aktive Gespräche gemeinsam statt pro Anfrage einen fixen Block zu reservieren. Dies reduziert Memory-Verschwendung von etwa 60 bis 80 Prozent auf etwa 4 Prozent und verdoppelt bis vervierfacht Durchsatz gegenüber naivem Batching auf der gleichen Karte. Es ist der Production-Standard bei Meta, Mistral AI, Cohere und IBM. ein gutes Zeichen für Infrastruktur, die niemand beaufsichtigen will.
**SGLang verdient seinen Platz, wenn Ihre Agenten strukturierte Ausgabe ausstossen (JSON-Tool-Calls oder formatierte Extraktionsfelder) wiederholt in einer engen Schleife. Es ist purpose-built für constrained Generation und misst rund 29 Prozent höheren Durchsatz als vLLM auf Workloads, wo Anfragen Kontext teilen. das klassische Pattern bei einem Tool-Calling-Agenten, der mehrere Calls pro Turn verkettet.
**Ollama verdient seine Beliebtheit für genau eine Aufgabe: ein Modell in unter fünf Minuten ans Laufen bringen, um zu sehen ob es wert ist weiterzumachen. Es hat keine feingranularen Ressourcen-Steuerungen und skaliert nicht über Single-User-Nutzung, und es als Serving-Schicht für ein shared Team-Tool einzusetzen ist die einzeln häufigste Art, wie Nutzer Durchsatz auf dieser Hardware-Stufe liegen lassen.
Beginnen Sie mit vLLM, es sei denn eine struktur-lastige Workload deutet auf SGLang. Beide sind Open Source mit aktiven Communities, und später zwischen ihnen zu wechseln ist ein Konfigurationswechsel statt ein Rebuild.
Quantisierung: Was Q4 Sie wirklich kostet
Auf dieser Hardware-Stufe ist VRAM fast immer der bindende Engpass. Das macht Q4-Quantisierung, speziell Q4_K_M, zum Standard statt Kompromiss. Sie senkt Memory-Nutzung rund 75 Prozent und beschleunigt Inferenz 3 bis 4 Mal. Das ist der einzige Grund, dass ein 70B-Modell überhaupt auf eine einzelne Karte passt.
Die Ersparnis ist nicht kostenlos. Q4 kostet rund 1 bis 2 Prozent messbarer Qualität bei 30B-plus-Modellen. Ein Verlust, den die meisten Agent-Workloads praktisch nicht bemerken. Bei Modellen unter 7B kostet die gleiche Quantisierung 5 bis 10 Prozent. Das zeigt sich als wirklich schlechtere JSON-Parse-Rate oder subtil falsche Tool-Argumente. Diese Ausfälle sind in einer Demo leicht zu übersehen und teuer in Production zu übersehen.
FP8 ist die sanftere Alternative, wo Hardware das nativ unterstützt, hauptsächlich auf Blackwell-Klasse-Karten. Qualitätsverlust sitzt näher an 0,3 bis 0,5 Punkten auf Standard-Benchmarks. Es gibt nicht die VRAM frei, die Q4 gibt, also fahren die meisten Workstation-Deployments aus Notwendigkeit, nicht Wahl, Q4.
Welche Quantisierung auch immer Sie landen, testen Sie sie gegen Ihr eigenes Prompt-Template und Tool-Schema, bevor Sie deployen. Ein Modell, das bei voller Genauigkeit JSON perfekt parsed, kann bei Q4 anfangen Felder zu verlieren. Der einzige Weg zu wissen ist Ihren eigenen Evaluierungs-Set durch den exakten Stack zu fahren, den Sie versenden wollen.
Die Ökonomie: Fixkosten gegen variabler Nutzung
Hier ist die Rechnung hinter dem Summary.
Nehmen Sie die RTX-6000-Ada-Workstation als Referenz-Build, da sie in der Mittellage sitzt. CHF 18 000 über 36 Monate amortisiert kostet CHF 500 pro Monat rein Hardware. Ein ca-1kW-System, ständig betrieben, zieht rund 720 kWh pro Monat; beim ElCom-Geschäftstarif von CHF 0,237 pro kWh sind das CHF 171 pro Monat Strom. Gesamt-Fixkosten landen rund CHF 671 pro Monat, in einer Spanne von rund CHF 650 bis 700 je nach Ihrem lokalen Tarif, ob die Maschine nachts idle läuft oder durchgehend.
Setzen Sie das gegen einen gemischten API-Tarif von rund CHF 4,60 pro Million Tokens für echten Agent-Traffic. Basierend auf aktuelle Frontier-Modell-API-Preisgestaltung, gemischt über Input- und Output-Tokens in realistischem Vier-zu-Eins-Verhältnis, das Pattern, das ein typischer Retrieval-gestützter Agent-Aufruf wirklich produziert. Das sitzt absichtlich über dem billigsten Satz am Markt, weil es einen realistischen Mix für Agent-Workloads statt einer Best-Case-Input-Only-Zahl widerspiegelt.
Teilen Sie den Fixkost durch diesen Satz und Sie bekommen den mathematischen Break-Even-Punkt: rund 146 Millionen Tokens pro Monat. Das setzt voraus, Sie können das tatsächlich nachhaltig erreichen, und die Concurrency-Daten unten zeigen das ist schwärer als es aussieht: Der Durchsatz skaliert gut sublinear, wenn mehr Nutzer eine GPU teilen, der realistische Threshold über das, was nackte Mathematik suggeriert, höher.
Auslastung entscheidet Ihren echten Cost-per-Token viel mehr als welche Hardware Sie kaufen. Die Multi-User-Reihen unten nutzen eine Spanne, erläutert unter der Tabelle:
| Workload (illustrativ, RTX-6000-Ada-Referenz-Build) | Monthly Tokens | Fixkosten | Cost per million tokens |
|---|---|---|---|
| 1 Nutzer, durchgehend bei 45 Tokens/Sekunde | ~117 Millionen | CHF 671 | CHF 5,74 |
| 10 gleichzeitige Nutzer, durchgehend (sublineares Scaling) | ~207 bis 518 Millionen | CHF 671 | CHF 1,30 bis 3,25 |
| 1 Nutzer, realistische 15%-Auslastung | ~17,5 Millionen | CHF 671 | CHF 38 |
| 10 Nutzer, realistische 30%-Auslastung (sublineares Scaling) | ~62 bis 155 Millionen | CHF 671 | CHF 4,30 bis 10,80 |
Zehn gleichzeitige Nutzer liefern nicht zehn Mal den Durchsatz eines Nutzers. Sie konkurrieren um die gleiche GPU-Memory und Compute statt jeder bekommt eine dedizierte Scheibe. Ein veröffentlichtes Concurrency-Benchmark auf einer vergleichbaren Karte setzte den realistischen Gesamt-Multiplikator auf rund 1,8 bis 4,4 Mal eines Einzelnutzer-Satzes, nicht 10 Mal. die Basis für die Spannenvorgaben oben.
Diese Korrektur macht jede Reihe neu. Die Reihe Einzelnutzer-durchgehend fällt immer noch unter die API durchgehend, weil 117 Millionen Tokens pro Monat unter dem 146-Millionen-Break-even liegt. Die Reihe Zehn-Nutzer-durchgehend ist der genuinely starke Fall für lokale Hardware, bei CHF 1,30 bis 3,25 pro Million Tokens auch am konservativen Ende. Die Reihe Zehn-Nutzer-30%-Auslastung ist die zum genauen Lesen. Ihre Spanne, CHF 4,30 bis 10,80 pro Million Tokens, kreist den API-Satz statt ihn direkt zu schlagen. Ein moderat genutztes Shared Tool ist näher ein Münzwurf gegen die API als ein klarer Sieg.
Das ist auch woher die realistische 250-bis-300-Millionen-Schwelle im Summary oben kommt. Die API mit echtem Spielraum schlagen heisst dem durchgehenden Zehn-Nutzer-Pattern nahekommen statt dem leichten-30%-Auslastung-Pattern, das die meisten Shared Tools tatsächlich sehen. Ein 20-köpfiges Team, das täglich 50 Agent-Aufrufe bei rund 3 000 Tokens pro Aufruf macht. illustrativ statt Marktsurvey. erreicht rund 66 Millionen Tokens pro Monat; ein 50-köpfiges Team am gleichen Tempo erreicht rund 165 Millionen. Beides sitzt weit unter komfortablem Spielraum über Break-even, was der Punkt ist: Token-Volumen allein bringt ein typisches KMU selten dorthin. Das ist der gleiche Trade-off, den unser TCO-Modell für Custom vs Platform KI-Agent-Infrastruktur in allgemeineren Begriffen durchgeht.
Die Ökonomie des Mac Studio sieht anders aus, wenn man seinen Preis korrigiert. CHF 4 000 über 36 Monate amortisiert sind CHF 111 pro Monat. Addieren Sie seinen rund 60-Watt-Verbrauch und Gesamt-Fixkosten landen nah bei CHF 120 pro Monat. Das setzt seinen mathematischen Break-even bei rund 26 Millionen Tokens, ein Volumen das ein Einzelnutzer durchgehend bei seinen 20 bis 28 Tokens pro Sekunde allein schafft. Der teurere NVIDIA-Build kann das selbst bei voller Sättigung nicht. Der Trade-off ist real: Weniger VRAM-Spielraum für gleichzeitige Nutzer und ein Durchsatz-Plafond der nicht mehr als eine Handvoll Leute serve wird. Für einen einzelnen Analysten oder ein Zwei-Personen-Team mit echtem Datensouveränitäts-Bedarf ist das der verteidigbarste Starting Point der vier.
Dies schliesst nicht den Kosten von tatsächlichem Agent-Workflow-Bau ein, der das Modell aufruft. Dieser folgt den gleichen Stufen unabhängig davon, welche Infrastruktur er anspricht.
Was nach der Installation bricht, und wer besitzt es
Hardware zu kaufen ist der leichte Teil. Was entscheidet, ob der Cluster Monat sechs noch nützlich ist, ist eine Reihe undankbarer, unglamouröser Aufgaben, die niemand zum Kaufzeitpunkt budgetiert.
Setup nimmt ein bis zwei Wochen für jemand, der das schon gemacht hat: Hardware zusammenbauen, Treiber installierten, vLLM oder Ollama aufstellen, und ein 70GB-plus Modell-File runterfahren. Das allein kann Stunden über eine typische Office-Leitung dauern. Einfacher als einen Kubernetes-Cluster hochfahren, aber nicht Plug-and-Play.
Neue Modell-Versionen kommen rund jeden Quartal. Jede muss runtergefahren, gegen einen Test-Set echter Fragen und bekannt-guten Antworten evaluiert, und deliberat entschieden werden ob tauschen oder nicht. Skip diesen Schritt und Modelle degradieren still: gleiche Prompts produzieren subtil schlechtere Antworten, und niemand bemerkt bis ein Nutzer sich beschwert.
Es gibt keine Redundanz auf dieser Stufe. Ein einzelner Workstation ist ein Single Point of Failure. Wenn die GPU stirbt, sind Sie down bis Sie einen Ersatz sourcel oder auf eine API failover, typisch einen oder zwei Tage. Es sei denn, Sie haben voraus einen Fallback-Path gebaut.
Monitoring ist ad-hoc by Default. Enterprise-Cluster bekommen richtige Observability-Dashboards. Ein Workstation im Schrank bekommt meist nichts ausser einem Ping-Check, der Ihnen über Uptime sagt und nichts darüber ob Antworten noch gut sind, die Metrik, die wirklich zählt.
Zusammen, das läuft rund 20 bis 30 Prozent der ständigen Zeit einer Person, jeden Monat, solange der Cluster Production bleibt. Es braucht keine dedizierte Einstellung, aber es braucht jemand Benannten mit Zeit rausgeschnitten vorher Hardware kommt statt nachher die erste peinliche falsche Antwort. Das operative Risiko hier echoet unser breiterer Blick auf KI-Agent-Sicherheitsrisiken: ein unbeobachtetes, unter-owned Deployment wird oft eine grössere Exposition als die Infrastruktur-Wahl reduzieren sollte.
Wann ist das der richtige Call
Ein paar durchgerechnete Beispiele zeigen das Pattern. Eine 15-köpfige Schweizer Buchhaltungsfirma bei 100 Millionen Tokens pro Monat, ohne Client-Geheimnis-Constraint jenseits normaler Diskretion: Die API ist billiger und niemand kann 20 bis 30 Prozent eines Ingenieurs Zeit freischaufeln. Eine 25-köpfige Anwaltskanzlei bei 150 Millionen Tokens pro Monat cleared den mathematischen Break-even aber fällt unter die realistische 250-bis-300-Millionen-Schwelle, also auch hier lehnen sich die Zahlen zur API. Eine 40-köpfige Finanzdienstleistungs-Firma bei 300-Millionen-plus Tokens pro Monat, mit echten regulatorischen Constraints und jemand bereits auf Staff um die Infrastruktur zu own. das ist das klare Ja.
Der Mittlefall ist wo die meisten echten lokalen-Inferenz-Entscheidungen in der Schweiz tatsächlich passieren. Volumen allein bereinigt die Break-even-Barre selten. Der Zug zur lokalen Hardware kommt stattdessen von revDSG, DSGVO wo EU-Daten im Scope sind, Berufsgeheimnis unter Art. 321 StGB, FINMA-Erwartungen für regulierte Finanzdienstleistungen, oder eine Datenlokalitäts-Klausel ein Client-Legal-Team bereits in den Vertrag geschrieben hat.
Kaufen Sie die Workstation wenn: Datensouveränität ist ein zwingendes Bedürfnis, das eine Cloud-API wirklich nicht erfüllen kann, Ihr interner Use-Case 4 bis 10 gleichzeitige Nutzer und paar Sekunden Latenz toleriert, und jemand dem Team kann Modell-Selektion und Evaluierung als laufende Aufgabe besitzen statt Einmalding.
Skip es wenn: nichts Regulatorisches oder Vertragsliches treibt die Entscheidung, Ihr Monthly-Volumen sitzt im 10er-Millionen-Tokens-Bereich statt 100er-Millionen, oder Sie brauchen Customer-facing Uptime und Concurrency, die eine einzelne Karte nie für gemacht wurde. In jedem dieser Fälle kostet GPU-Kapazität von einem Schweizer-gehosteten Provider oder Bleiben auf einer öffentlichen API weniger und verlangt weniger von Ihrem Team. mindestens bis Volumen und Regulatorischer-Druck beide die gleiche Richtung zeigen.
Häufige Fragen
Wie viel kostet ein lokaler Inference-Cluster pro Monat zu betreiben?
Ein lokaler Inference-Cluster in Workstation-Klasse im Bereich CHF 15 000 bis 30 000 kostet rund CHF 671 pro Monat, wenn Sie die Hardware über drei Jahre amortisieren und Schweizer Netzstromtarife hinzurechnen. Dieser Betrag ändert sich kaum, ob der Rechner im Leerlauf läuft oder ständig durchläuft. Der entscheidende Faktor, um ein API-Abonnement zu schlagen, ist also die Auslastung, nicht der Kaufpreis.
Ist ein lokaler Inference-Cluster billiger als eine API wie Claude oder GPT?
Nur bei hohem, dauerhaftem Volumen. Die mathematische Break-even-Schwelle gegen einen gemischten API-Tarif von rund CHF 4,60 pro Million Tokens liegt bei etwa 146 Millionen Tokens pro Monat, und die realistische Schwelle, wenn Sie berücksichtigen, wie der Durchsatz tatsächlich mit konkurrierenden Nutzern skaliert, liegt näher bei 250 bis 300 Millionen. Ein 20-köpfiges Team, das 50 Agent-Aufrufe pro Tag macht, erreicht nur etwa 66 Millionen Tokens pro Monat, deutlich unter beiden Schwellen. Für sie bleibt die API die günstigere Option.
Wie viele Nutzer kann eine CHF 15 000 bis 30 000 GPU-Workstation tatsächlich verarbeiten?
Realistisch 4 bis 10 gleichzeitige Nutzer auf einem 70-Milliarden-Parameter-Modell bei 4-Bit-Quantisierung, wobei ein Einzelnutzer 40 bis 50 Tokens pro Sekunde erhält. Jenseits von 10 bis 15 gleichzeitigen Anfragen läuft der GPU-Speicher für die Verfolgung aktiver Gespräche voll, und die Antwortzeiten schnellen steil hoch. Diese Klasse eignet sich für ein internes Team-Tool, nicht für einen kundengerichteten Chatbot mit vielen gleichzeitigen Gesprächen.
Welche Open-Weight-Modelle passen tatsächlich auf diese Hardware?
Bei 48 bis 96 GB VRAM passen dichte Modelle und Mixture-of-Experts in der Klasse 30 bis 70 Milliarden Parameter bei 4-Bit-Quantisierung, einschliesslich Llama 3.3 70B, Qwen 2.5 72B und die kleineren Qwen-3.5-Varianten für Tool-lastige Workflows. Frontier-Open-Weight-Modelle wie Mistral Large 3, für Multi-GPU-Enterprise-Cluster ausgelegt, passen nicht auf eine einzelne Workstation-Karte bei irgendeiner Quantisierungsstufe.
Wann macht lokale Inferenz für ein KMU Sinn?
Hauptsächlich wenn Datensouveränität eine zwingende Anforderung aufgrund von Schweizer Datenschutzgesetz, DSGVO soweit EU-Daten betroffen sind, Berufsgeheimnis nach Art. 321 StGB, FINMA-Erwartungen für regulierte Finanzdienstleistungen oder eine vertragliche Datenlokalitätsklausel ist, und eine öffentliche API sie wirklich nicht erfüllen kann. Andernfalls schlagen Kosten und Wartungslast die Anmietung von GPU-Kapazität oder die Pay-per-Token-Nutzung nur selten, weil die meisten Firmen nie das nachhaltige Volumen erreichen, bei dem Eigentum sich selbst trägt.