Die Appliance-Demo funktioniert hervorragend, solange ein Partner eine kurze Frage zu einem sauberen PDF stellt. Am nächsten Morgen sieht die Kaufentscheidung anders aus. Zwei Kolleginnen öffnen lange Mandantendateien, während der Dokumentenscanner einen Indexierungslauf startet. Die erste Antwort dauert so lange, dass jemand zu einem nicht genehmigten Webdienst zurückkehrt.
Die Hardware kann genau nach Spezifikation funktionieren. Das Büro hat schlicht nach Modellname und Speicherwert gekauft, statt nach der Arbeit, die Mitarbeitende erledigen müssen.
Eine KI-Appliance für ein kleines Büro sollte anhand gemessener Dokumente, der gleichzeitigen Spitzennutzung, der Antwortziele und der Wiederherstellungszeit dimensioniert werden. Hardwaredaten erklären Ergebnisse. Der Kauf bewährt sich erst, wenn der vollständige Ablauf einen Abnahmetest des Büros besteht.
Ein gezieltes KI-Entwicklungsprojekt kann repräsentative Arbeit vor der Bestellung in diesen Test übersetzen. Die breitere Wirtschaftlichkeit eigener Inferenzhardware behandelt ein lokaler Inferenzcluster. Hier geht es um die kleinere Entscheidung für ein Bürogerät, das zur Arbeit passt und sich nach einem Ausfall wiederherstellen lässt.
Erfassen Sie die Arbeitslast vor der Gerätesuche
Beginnen Sie mit einer geplanten zweiwöchigen Stichprobe normaler Arbeit. Erfassen Sie die Aufgaben für den Assistenten und die tatsächliche Beschaffenheit der Dokumente. Das Dimensionierungsblatt enthält typische und maximale Eingabelänge, erwartete Ausgabelänge, Seitenzahl, OCR-Volumen, Sprachen, Abruftiefe, gleichzeitige Nutzer und Spitzen bei Hintergrundläufen.
Trennen Sie interaktive von Hintergrundarbeit. Ein Anwalt, der auf eine zitierte Klausel wartet, hat ein anderes Latenzziel als ein nächtlicher Indexlauf. Eine Treuhänderin mit einer Lohnabweichung hat ein anderes Speichermuster als ein Team, das ein Jahr Bankauszüge vergleicht. Dieselbe Appliance kann eine Last bequem bedienen und die andere in eine Warteschlange stellen.
Definieren Sie bürospezifische Ziele für:
- Zeit bis zur ersten sichtbaren Reaktion und bis zur vollständigen Antwort
- Maximale gleichzeitige Nutzung in der geschäftigsten Stunde
- Grösster repräsentativer Dokumentensatz und tägliches OCR-Volumen
- Mindestqualität von Zitaten oder Extraktion für die professionelle Prüfung
- Wiederherstellungszeit nach Ausfall des Geräts oder eines abhängigen Dienstes
Dies sind Abnahmeanforderungen und keine Branchenbenchmarks. Ein Partner kann 20 Sekunden für einen sorgfältigen Vertragsvergleich akzeptieren und dieselbe Verzögerung bei einer kurzen Suche ablehnen. Eine Zahl ist nur im Zusammenhang mit der Arbeit aussagekräftig.
Nehmen Sie deutsche, französische, italienische und englische Beispiele auf, wenn das Büro diese Sprachen betreut. Zählen Sie Scans, Tabellen und Handschrift. Saubere digitale PDFs zeichnen ein zu optimistisches Bild von Speicher, Abrufqualität und Prüfzeit.
Planen Sie den Speicher für den gesamten Stack
Modellgewichte sind nur die erste Zeile des Speicherbudgets. Ergänzen Sie Laufzeitpuffer, Kontextcache aktiver Sitzungen, Embedding- oder Reranking-Dienst, OCR, Betriebssystem, Dokumentindex und Anwendung. Reservieren Sie Arbeitsraum für Updates und temporäre Dateien.
Quantisierung reduziert den Speicherbedarf des Modells durch Gewichte mit geringerer Genauigkeit. Die aktuelle Dokumentation von llama.cpp beschreibt Quantisierungsoptionen, mehrere Hardware-Backends und hybride Inferenz über CPU und GPU. Diese Techniken erweitern die Auswahl ausführbarer Modelle.
Technische Ausführbarkeit und praktischer Nutzen sind getrennte Tests. Teile des Modells oder der Last können im Systemspeicher das Laden ermöglichen, während die Antwortzeit über das Büroziel steigt. Längerer Kontext und mehr gleichzeitige Sitzungen erhöhen den aktiven Speicherverbrauch. Messen Sie das Kandidatengerät deshalb mit gewähltem Modell, Quantisierung, Laufzeit und echter Spitzenlast gemeinsam.
Nutzen Sie im Nachweis eine Speichertabelle:
| Komponente | Im Leerlauf gemessen | Bei Spitze gemessen | Erforderliche Reserve |
|---|---|---|---|
| Modell und Laufzeit | Auf Kandidat erfassen | Auf Kandidat erfassen | Durch Updateplan definiert |
| Kontext aktiver Sitzungen | Bei Ziellänge erfassen | Bei Spitzennutzung erfassen | Reserve für eine langsame Anfrage |
| Abruf, OCR und Index | Während Suche erfassen | Während Indexierung erfassen | Reserve für grössten Lauf |
| Betriebssystem und Anwendung | Nach Neustart erfassen | Im vollständigen Test erfassen | Reserve für stabilen Dienst |
Das Büro sollte die Reserve aus Änderungs- und Wiederherstellungsplan ableiten. Ein allgemeiner Prozentsatz würde Unterschiede zwischen Laufzeiten und Arbeitslasten verbergen.
Wählen Sie die Hardwareklasse nach dem Budget
Vergleichen Sie für einen Versuch mit einem Einzelgerät drei breite Klassen. Ein CPU-orientierter Server kann zu kleineren Modellen, Embeddings, OCR und wenig gleichzeitiger Entwurfsarbeit passen. Ein Desktop mit gemeinsamem Speicher kann Modell und Anwendung einen grösseren Pool bereitstellen. Eine Workstation mit eigener GPU eignet sich für Lasten, die in den Grafikspeicher passen und vom unterstützten Beschleunigungsstack profitieren.
Jede Klasse hat andere Grenzen. Reine CPU-Inferenz kann interaktive Latenzziele verfehlen. Gemeinsamer Speicher wird von Modell, Betriebssystem und Index genutzt. Dedizierter Grafikspeicher begrenzt vollständig GPU-residente Lasten. Hybride Auslagerung kann die technische Ausführbarkeit in den Systemspeicher erweitern, dabei aber Latenz und gleichzeitige Nutzung verschlechtern. Die ganze Workstation braucht passende Stromversorgung und Kühlung.
Als konkrete Spezifikation nennt NVIDIA für die GeForce RTX 5090 32 GB GDDR7-Speicher und 575 W Gesamtgrafikleistung sowie 1.000 W erforderliche Systemleistung in den Referenzdetails. Erweiterungskarten können abweichen. Diese Zahlen beschreiben eine Komponentenklasse. Sie sagen weder Modellqualität noch gleichzeitige Nutzung oder gemessenen Verbrauch des Gesamtsystems voraus.
Speicher und Betrieb entscheiden oft über den besseren Kauf. Das Gerät benötigt Platz für das aktuelle und das vorige freigegebene Modell, Indizes, vorgesehene Sicherungen oder Snapshots, Protokolle und temporäre Updatedateien. Prüfen Sie Garantie, Ersatzfrist, Treiberunterstützung und Erfahrung der Administration mit dem Stack.
Kaufen Sie nicht vorsorglich einfach den grössten Speicherwert. Zusätzliche Kapazität hat nur Wert, wenn die Abnahmelast oder die genehmigte Roadmap sie benötigt.
Messen Sie die vollständige Benutzererfahrung
Führen Sie zuerst einen reproduzierbaren Modellbenchmark und danach dieselbe Last über die echte Oberfläche aus. Die Dokumentation von llama-bench erklärt Messungen für Promptverarbeitung und Erzeugung über Wiederholungen. Die Ergebnisse schliessen Tokenisierung und Sampling aus und dürfen deshalb nicht als End-to-End-Latenz dargestellt werden.
Erfassen Sie pro Lauf Modelldatei, Quantisierung, Laufzeit-Commit, Kontextlänge, Prompt, Hardware, Betriebssystem und Temperatureinstellungen. Ergänzen Sie in der echten Anwendung die Zeiten für Authentifizierung, Abruf, Reranking, OCR, Warteschlange und Darstellung.
Testen Sie 1 Person, 2 Personen und die erwartete Spitzenzahl mit gleichem Kontext und Dokumentensatz. Mischen Sie typische Hintergrundarbeit ein. Erfassen Sie:
- Warteschlange, Zeit bis zum ersten Token und vollständige Antwortzeit
- Median und langsame Anfragen gegenüber dem schriftlichen Ziel
- CPU-, GPU- und Systemspeicher bei Spitze
- Leistung des Gesamtsystems, Temperatur, Drosselung und Fehler
Durchschnittswerte können die Anfrage verbergen, die Mitarbeitende zu einem unverwalteten Dienst treibt. Erfassen Sie p50 und p95 für den Bürosatz und kennzeichnen Sie beide als Messungen dieser Konfiguration. Sie versprechen keine Leistung mit einem anderen Modell oder einer anderen Last.
Prüfen Sie mit dem Abnahmesatz auch die Qualität
Geschwindigkeit hilft nicht, wenn die Antwort die falsche Seite zitiert oder den falschen Betrag extrahiert. Erstellen Sie einen vorgeschlagenen Satz mit 50 bis 100 repräsentativen Prompts und erwarteten Belegen. Dieser Umfang ist für einen Pilotversuch im Büro praktikabel, bildet jedoch keine allgemeine Schwelle für ausreichende Qualität.
Nehmen Sie häufige Aufgaben, schwierige Scans und Fragen ohne vorhandene Antwort auf. Bewerten Sie Zitatgenauigkeit, Extraktion, Enthaltung und Akzeptanz durch Prüfer nach Aufgabe. Trennen Sie Ergebnisse nach Sprache und Dateityp, damit ein guter Gesamtwert keinen schwachen französischen Scanprozess verbirgt.
Der Satz muss auch gleichzeitige Nutzung umfassen. Eine Konfiguration besteht nur, wenn Qualität und Latenz bei erwarteter Spitze akzeptabel bleiben. Wiederholen Sie nach Änderungen an Modell, Quantisierung, Laufzeit, Prompt, Parser oder Abruf.
Verbinden Sie die Qualitätstests mit Betriebskontrollen auf einer isolierten Instanz und synthetischen Daten:
- Halten Sie den Identitätsdienst an und bestätigen Sie, dass die Anwendung geschützten Abruf verweigert.
- Füllen Sie ein Testvolumen und prüfen Sie Alarmierung und sichere Verweigerung.
- Unterbrechen Sie das Netzwerk, starten Sie das Gerät neu und stellen Sie eine Testsicherung wieder her.
- Wechseln Sie das Modell, führen Sie den Satz aus und halten Sie das vorige freigegebene Modell bis zur Abnahme verfügbar.
Dies sind kontrollierte Tests mit vorbereiteten Wiederherstellungsschritten. Verursachen Sie nie Strom- oder Speicherfehler auf einer Produktiv-Appliance mit echten Daten.
Planen Sie die Wiederherstellung vor der Lieferung
Eine einzelne Appliance ist eine einzelne betriebliche Abhängigkeit. Messen Sie Neustartzeit, Sicherungswiederherstellung, Indexneuaufbau und Anwendungsverhalten bei fehlendem Speicher oder Identitätsdienst. Bestimmen Sie, welche Datensätze und abgeleiteten Daten zusammen zurückkehren müssen.
Halten Sie das vorige freigegebene Modell samt Konfiguration verfügbar, bis ein Update den Abnahmesatz besteht. Dokumentieren Sie Zuständigkeiten für Betriebssystem- und Laufzeitpatches, Speicher und Protokolle sowie die Rückkehr eines ausgefallenen Dienstes.
Der Kontinuitätsweg muss zur Sensibilität passen. Ein manueller Ablauf im bestehenden Dokumenten-, Buchhaltungs- oder Kanzleisystem ist meist am einfachsten. Mitarbeitende arbeiten langsamer, ohne Daten an ein neues Ziel zu übertragen.
Ein API-Ausweichweg eignet sich nur, wenn Anbieter, Vertrag und Verarbeitungspfad für dieselbe Datenklasse ausdrücklich genehmigt wurden. Automatischer Rückgriff auf eine öffentliche Cloud kann dem Grund für lokale Ausführung widersprechen. Lassen Sie ihn deaktiviert, sofern er nicht bewusst genehmigt und getestet ist.
Nehmen Sie Wiederherstellung in die Anbietervorführung auf. Ein wiederhergestelltes Modell ohne Berechtigungsmetadaten oder Auditverlauf ist keine vollständige Wiederherstellung.
Berechnen Sie die Betriebskosten aus Messungen
Erstellen Sie ein Dreijahresmodell mit derselben Sorgfalt wie den Lasttest. Es umfasst Hardware, verschlüsselten Speicher, Sicherung, USV, Netzwerkanpassungen, Installation, Modell- und Laufzeitintegration, Überwachung, Support, Ersatzrisiko, Schulung und professionelle Prüfzeit.
Messen Sie die Leistung des Gesamtsystems an der Steckdose während der Abnahmelast. Die Nennleistung einer GPU ergibt nicht den jährlichen Energieverbrauch der Workstation. Die Eidgenössische Elektrizitätskommission veröffentlicht Tarifdaten nach Gemeinde und Kundenkategorie. Verwenden Sie den Geschäftstarif des Büros statt einer nationalen Schätzung.
In einer illustrativen Rechnung verbraucht ein gemessenes Gerät mit durchschnittlich 0,65 kW während 8 Betriebsstunden an 220 Arbeitstagen 0,65 × 8 × 220 = 1.144 kWh. Bei einem illustrativen Tarif von CHF 0,24 pro kWh beträgt der Energieanteil 1.144 × CHF 0,24 = CHF 274,56 pro Jahr. Dieser illustrative Betrag schliesst Leerlauf, Kühlung und Sicherungslasten aus. Kapital, Support und Administration müssen aus dem datierten Angebot und den Personalannahmen des Büros stammen.
Vergleichen Sie einen verwalteten privaten Dienst bei gleichem Dokumentvolumen, Qualitätsziel und gleicher Datenklassifizierung. Rechnen Sie interne Administration bei beiden Optionen ein. Lokale Hardware kann Tokengebühren vermeiden und dafür Patch- und Wiederherstellungsarbeit schaffen. Ein verwalteter Dienst kann den Betrieb entlasten und Fragen zu Anbieter, Vertrag und Rechtsraum aufwerfen.
Das TCO-Modell für individuelle Lösungen und Plattformen bietet einen breiteren Kostenrahmen. Für diesen Kauf zählen die gemessene Last und eine benannte Betriebsverantwortung mehr als eine allgemeine Hardwarepreisspanne.
Kaufen Sie die kleinste bestehende Konfiguration
Die Entscheidung sollte mit einem Ergebnisblatt enden. Halten Sie fest, welches Gerät und welcher Softwarestack die Ziele für Qualität, gleichzeitige Nutzung, Latenz und Wiederherstellung bestanden haben. Vermerken Sie Reserve bei Spitze und Aufgaben, die weiterhin den manuellen Weg benötigen.
So wird der Nutzen lokaler Inferenz praktisch. Mitarbeitende erhalten einen hilfreichen Assistenten für genehmigte sensible Arbeit und das Büro kennt sein Verhalten bei mehreren Nutzern oder dem Ausfall einer Komponente. Das Gerät wird nach einem echten Prozess statt einer Modellrangliste dimensioniert.
Wählen Sie die kleinste Konfiguration, die mit ausreichender gemessener Reserve besteht. Wiederholen Sie die Tests nach wesentlichen Änderungen. Diese Disziplin hält die Appliance nach dem Kauf nützlich und liefert Belege für das nächste Upgrade statt einer weiteren Vermutung.
Häufige Fragen
Wie viel Speicher benötigt eine KI-Appliance für ein kleines Büro?
Der Speicherbedarf hängt von Modell und Quantisierung, maximalem Kontext, gleichzeitigen Sitzungen, Abrufkomponenten, OCR, Laufzeit und Betriebssystem ab. Messen Sie den gesamten Stack auf dem Kandidaten bei Spitzenlast. Die Dateigrösse des Modells allein reicht nicht aus, weil aktiver Kontext und Anwendungsdienste ebenfalls Speicher belegen. Eine Verlagerung zwischen CPU und GPU kann das Laden ermöglichen und dennoch untragbare Latenz verursachen.
Wie viele Personen können ein lokales KI-Gerät gleichzeitig nutzen?
Es gibt keine allgemeingültige Nutzerzahl. Führen Sie dieselben geskripteten Aufgaben mit 1 Person, 2 Personen und der erwarteten Spitzennutzung aus. Erfassen Sie Wartezeit, Zeit bis zum ersten Token, vollständige Antwortzeit, Speicher und Fehler bei normaler Indexierung oder OCR. Die Appliance besteht nur, wenn auch langsame Anfragen innerhalb des schriftlichen Büroziels bleiben.
Kann ein Modellbenchmark die Antwortzeit für Mitarbeitende vorhersagen?
Ein Benchmark eignet sich zum Vergleich kontrollierter Läufe, kann aber Tokenisierung, Sampling, Abruf, Warteschlange und Oberfläche ausschliessen. Dokumentieren Sie damit Modelldatei, Quantisierung, Laufzeit und Hardware und wiederholen Sie den Test anschliessend in der vollständigen Anwendung. End-to-End-Messungen mit repräsentativen Dokumenten belegen die Benutzererfahrung, die das Büro tatsächlich einkauft.
Welchen Ausweichweg sollte ein sensibles Büro bei einem Ausfall nutzen?
Ein manueller Ablauf in den bestehenden Quellsystemen ist meist der einfachste Ausweichweg. Eine API ist nur geeignet, wenn das Büro diesen Anbieter und dieses Ziel für dieselbe Datenklasse ausdrücklich genehmigt hat. Vermeiden Sie automatischen Rückgriff auf eine öffentliche Cloud. Dokumentieren Sie, wer den Ausfall erklärt, wie wartende Arbeit behandelt wird und wie die Appliance nach der Wiederherstellung zurückkehrt.
Wie berechnet ein Büro die Gesamtkosten einer KI-Appliance?
Nutzen Sie ein Dreijahresmodell mit Hardware, Speicher, Sicherung, USV, Netzwerkarbeiten, Installation, Integration, Überwachung, Support, Ersatzrisiko, Schulung und Prüfzeit. Ergänzen Sie den gemessenen Strombedarf des Gesamtsystems zum lokalen Geschäftstarif. Vergleichen Sie bei gleichem Arbeitsvolumen mit einem verwalteten privaten Dienst und berücksichtigen Sie Administrationszeit, Wiederherstellung und den vereinbarten Ausweichweg.