Skip to content
Mit einem KI-Agenten chatten
Grundlagen

Open-Weight-KI-Modelle: Der Leitfaden für Geschäftsführer, was Sie wirklich selbst hosten können

Orange ITS — KI-Engineering-Team 11 Min. Lesezeit

Billionen-Parameter-Schlagzeilen, Single-GPU-Realität

Innerhalb von sechs Wochen diesen Sommer kündigten drei verschiedene Labs jeweils das grösste je veröffentlichte Open-Weight-Modell an. Kimi K3 von Moonshot AI kam am 27. Juli mit 2,8 Billionen Parametern heraus. Qwen 3.8-Max von Alibaba folgte am 3. August mit 2,4 Billionen. Zhipu hatte GLM-5.2 bereits im Juni ausgeliefert. Jede Ankündigung kam mit einem Benchmark-Diagramm, das das neue Modell eng beieinander oder übertroffen an den besten proprietären Systemen auf dem Markt zeigte.

Falls Sie ein Unternehmen führen und versuchen, herauszufinden, was all dies für Ihre KI-Pläne bedeutet, sind die Schlagzeilen nicht für Sie verfasst. Ein Modell mit 2,8 Billionen Parametern ist nicht etwas, das ein mittelgrosses Unternehmen auf einem Server im Hinterzimmer installiert. Es ist ein Datenpunkt in einer viel grösserem Landschaft, einer, in der Modelle, die tatsächlich innerhalb echter Unternehmen bereitgestellt werden, meist nur einen Bruchteil dieser Grösse haben. Unser KI-Entwicklungsteam wird fast wöchentlich gefragt, ob eine bestimmte Open-Weight-Version Self-Hosting wert ist, und die ehrliche Antwort beginnt fast immer mit “welche, und wofür”.

Dieser Leitfaden behandelt, wo diese Landschaft tatsächlich im August 2026 steht: welche Modellfamilien real und produktionsreif sind, was ihre Lizenzen wirklich erlauben, welche Infrastruktur jede Ebene realistisch erfordert und die Compliance-Frage, die die meisten Herstellerpräsentationen bequem überspringen.

Die Sechs Modellfamilien, die Sie Kennen Sollten

Derzeit haben sechs Open-Weight-Modellfamilien eine glaubwürdige, unabhängig verifizierbare Produktionserfahrung. Drei weitere sind überwachungswert: Thinking Machines’ Inkling, Poolsides Laguna und das lang ersehnte, aber noch nicht veröffentlichte GLM-5.5. Keine gehört derzeit in die gleiche Kategorie, aus Gründen, die nachfolgend behandelt werden.

Kimi K3 (Moonshot AI). Am 27. Juli 2026 veröffentlicht, mit vollständigen Gewichten auf Hugging Face publiziert. Mit 2,8 Billionen Gesamtparametern und 104 Milliarden aktiv pro Token ist es die grösste Open-Weight-Veröffentlichung bis dahin und die erste, die in unabhängigen Frontend-Code-Arena-Rankings führt, mit 1.679 Elo gegen Claude Fable 5’s 1.631. Es führt insbesondere beim Codieren: SWE-bench Verified bei 81,2% ist ein starkes Ergebnis zusätzlich zum Frontend-Code-Arena-Vorsprung. Es steht unter einer benutzerdefinierten Kimi-K3-Lizenz statt einer Standardlizenz mit offenem Quellcode. Das zählt mehr als das Benchmark-Diagramm, wenn die Rechtsabteilung involviert ist (mehr dazu unten).

Qwen 3.8-Max (Alibaba). Am 19. Juli gezeigt, vollständig am 3. August 2026 gestartet. Es funktioniert mit 2,4 Billionen Gesamtparametern und 95 Milliarden aktiv pro Token und führt beim multimodalen Reasoning, mit frühen unabhängigen Tests, die bessere Enterprise-Tool-Zuverlässigkeit als Kimi K3 in mindestens einem Vergleich nahelegen. API-Preise betragen USD 2 pro Million Input-Token und USD 6 pro Million Output-Token. Das ist etwa 2,5 Mal günstiger als Kimi K3’s API-Preise. Frühere Qwen-Versionen, einschliesslich eines kleineren Qwen3.8-27B-Checkpoints, sind bestätigt Apache 2.0. Die Flagship-Qwen3.8-Max-Gewichte selbst, Mitte August 2026 veröffentlicht, werden stattdessen unter einer separaten benutzerdefinierten Lizenz ausgeliefert, eine Unterscheidung, die es wert ist zu beachten, wenn Sie annahmen, dass die gesamte Qwen-Familie die gleichen permissiven Bedingungen erbt.

GLM-5.2 (Zhipu). Am 13. Juni 2026 mit offenen Gewichten und API-Zugriff über Drittanbieter wie OpenRouter veröffentlicht. Mit etwa 753 Milliarden Gesamtparametern und etwa 40 Milliarden aktiv ist es merklich kleiner als K3 und Qwen 3.8-Max, und das zeigt sich: GLM-5.2 entspricht oder schlägt mehrere proprietäre Modelle bei langfristigen Codierungsaufgaben zu einem Bruchteil der Inferenzkosten mit 62,1% auf SWE-Bench Pro. Es ist unter MIT lizenziert, eine der geschäftsfreundlichsten Lizenzen in dieser Liste.

DeepSeek. DeepSeek V4 wurde im April 2026 mit einem Kontextfenster von 1 Million Token und offenen Gewichten ausgeliefert. Die öffentlichen Details zu dieser Veröffentlichung sind dünner als bei den anderen fünf Familien, behandeln Sie diese als eine der glaubwürdigen Optionen, die es wert ist, direkt mit Ihrem technischen Team zu untersuchen, anstatt einer vollständig spezifizierten Wahl.

Llama 3.1 405B (Meta). Mit Abstand das älteste Modell dieser Liste. Meta veröffentlichte es am 23. Juli 2024, gemäss seiner offiziellen Ankündigung, und es wird 2026 immer noch weit verbreitet eingesetzt, wert, hier einzubinden dafür, wie gründlich es im Produktionseinsatz getestet wurde. Mit 405 Milliarden dichten Parametern (jeder Parameter aktiviert sich bei jedem Token, anders als die obigen Mixture-of-Experts-Designs) rangiert es neben Claude- und GPT-Klasse-Modellen in Blind-Evaluierungstests. Es läuft unter der Llama Community License, die für die grosse Mehrheit der Unternehmen permissiv ist, aber keine echte Open-Source-Lizenz ist: Meta behält Nutzungsbeschränkungen, die Apache 2.0 oder MIT nicht haben.

Mistral Large 3 (Mistral AI). Im Dezember 2025 gestartet und im Juli 2026 in breitere Early Access verschoben. Mit 675 Milliarden Gesamtparametern und 41 Milliarden aktiv ist es unter Apache 2.0 lizenziert und kostet USD 0,50 pro Million Input-Token und USD 1,50 pro Million Output-Token, unter den günstigsten API-Optionen dieser Liste. Mistral wird als kostengünstiges, stark mehrsprachiges Enterprise-Modell positioniert, eine Position, die defensiv ist und ehrlich dargestellt wird.

Warum die Lizenz Mehr Zählt als das Benchmark

Jede der sechs Familien oben veröffentlicht Gewichte, die Sie herunterladen können. Diese einzelne Tatsache wird in vielen Berichterstattungen in “Open Source” abgeflacht. Diese Abflachung zählt. Die an diese Veröffentlichungen angehängten Lizenzen sind nicht austauschbar.

Apache 2.0 und MIT sind die sicheren Standards. Mistral Large 3 und frühere Qwen-Veröffentlichungen, einschliesslich des kleineren Qwen3.8-27B-Checkpoints, tragen Apache 2.0. DeepSeek-Veröffentlichungen und GLM-5.2 sind beide unter MIT lizenziert. Alle drei ermöglichen kommerzielle Nutzung, Änderung und Weiterverbreitung mit minimalem Aufwand, weshalb Rechtsteams diese normalerweise schnell genehmigen.

Die Llama Community License ist permissiv, aber bedingungsbehaftet. Llama 3.1 405B ist für die grosse Mehrheit der Unternehmen kostenfrei nutzbar, bleibt aber eine Community-Lizenz statt eines Standard-Open-Source-Lizenz. Meta hängt Nutzungsbedingungen an, einschliesslich Beschränkungen gebunden an die Unternehmensgrösse, die Apache 2.0 nicht hat.

Kimi K3 und das Flagship Qwen 3.8-Max benötigen beide eine rechtliche Überprüfung vor der Produktionsnutzung. Keines wird mit Apache 2.0, MIT oder einer vergleichbaren Standard-Lizenz ausgeliefert. Moonshots benutzerdefinierte Kimi-K3-Lizenz erfordert eine separate Handelsvereinbarung, sobald ein darauf aufgebautes System definierte Umsatzschwellen übersteigt. Alibaba veröffentlichte die Flagship-Qwen3.8-Max-Gewichte Mitte August 2026 ebenfalls unter seiner eigenen benutzerdefinierten Lizenz, unterschiedlich von den Apache-2.0-Bedingungen, die kleinere Qwen-Checkpoints abdecken. Layer3Labs’ Analyse geschäftsfertiger Open-Weight-Modelle kennzeichnet solche benutzerdefinierten Lizenzen als tragend echtes Compliance-Risiko, wenn ein Deployment skaliert, da sich Bedingungen zwischen Vorschau und allgemeiner Veröffentlichung auf Arten ändern können, die eine Standard-Lizenz nicht zulässt.

Das praktische Fazit: führen Sie jedes Modell, das Sie evaluieren, durch die Standard-Softwarelizenzüberprüfung Ihres Rechtsteams durch, bevor es Produktionsdaten berührt, genauso wie mit jeder Drittanbieter-Abhängigkeit. Ein Modell mit stärkerem Benchmark-Score und verschwommenerer Lizenz ist nicht automatisch die bessere Geschäftsentscheidung.

Was “Konkurrenzfähig mit Frontier-Modellen” Wirklich Bedeutet

Herstellerannahmen diesen Sommer waren aggressiv bei der Positionierung ihrer Modelle als gleich oder besser als führende proprietäre Systeme. Einiges davon ist vertretbar. Einiges benötigt Korrektur, bevor es ein Board Deck erreicht.

Unabhängige Audits von Artificial Analysis, einem Drittanbieter-Benchmark-Unternehmen, platzieren Kimi K3 auf einem Intelligence-Index-Score von 57,1, global drittplatziert, gegen Claude Fable 5’s etwa 60. Das ist eine echte Lücke und zeigt sich scharf bei schwierigeren Reasoning-Aufgaben: beim Omniscience-Benchmark antwortet Fable 5 auf 61% schwieriger faktischer Fragen richtig versus K3’s 46%. K3 zeigt auch eine höhere Halluzinationsrate als sein Vorgänger, 51% versus 39%, ein Detail, das ernst genommen werden sollte, wenn Ihr Anwendungsfall etwas Fakten-Kritisches wie Rechts- oder Compliance-Arbeit berührt. Diese Index-Scores sind eine Momentaufnahme: Artificial Analysis berechnet sie neu, während neue Modelle und erweiterte Reasoning-Varianten in die Rankings eintreten, behandeln Sie die exakten Zahlen daher als direktional statt sie einmal zu prüfen und zu archivieren.

Wo K3 seine Schlagzeilen wirklich verdient, ist Codierung. Sein Frontend-Code-Arena-Score und SWE-bench-Verified-Ergebnis sind beide nach jedem unabhängigen Mass stark, und mehrere Praktiker berichten von soliden Ergebnissen beim Einsetzen von K3 in echten Engineering-Pipelines. Die Lektion verallgemeinert sich über K3 hinaus. Open-Weight-Modelle sind bei aufgabenspezifischem Werk wie Code-Generierung stark und bei breitem, schwierigem Reasoning schwächer. Ein Benchmark-Diagramm, das die beiden zu einer “konkurrenzfähig mit Frontier-Modellen” Schlagzeile zusammenfasst, leistet Ihnen einen Bärendienst.

Es gibt eine zweite Falte, die Beachtung verdient. Unterschiedliche Evaluierungs-Setups können den Score desselben Modells um 10 bis 26 Punkte schwanken. Das allein macht unternehmensübergreifende Benchmark-Tabellen unzuverlässig, auch wenn niemand absichtlich irreführend ist. Eine sicherheitsorientierte Überprüfung von Semgrep veranschaulicht das Problem von innen: Kimi K3 durch zwei unterschiedliche Scoring-Konfigurationen seiner selbst zu führen brachte zwei unterschiedliche Präzisionsnummern für das gleiche Modell und K3 blieb hinter konkurrierenden Modellen auf Semgreps eigenem unternehmensübergreifenden Vergleich. Behandeln Sie unternehmensübergreifende Benchmark-Tabellen bestenfalls als direktional. Verlassen Sie sich auf unabhängig geprüfte Zahlen wie den Artificial Analysis Intelligence Index, wenn die Entscheidung wirklich zählt.

Und ein Vorbehalt zu GLM: Zhipus nächstes Modell, online weitgehend GLM-5.5 genannt, wird um August 2026 erwartet basierend auf Analystennoten und Community-Lecks, die eine etwas über 1 Billion Parameter Architektur beschreiben. Zum Zeitpunkt des Schreibens hat Zhipu keine offizielle Modellkarte, kein Benchmark oder API-Endpoint für dies veröffentlicht. Bis das sich ändert, behandeln Sie GLM-5.5 als Gerücht, das nicht in eine Deployment-Entscheidung einfliessen sollte.

Was es Wirklich kostet, Diese Modelle zu Betreiben

Hier ist die Lücke zwischen Schlagzeile und Deployment-Realität am grössten. Kimi K3 und Qwen 3.8-Max sind die zwei grössten, fähigsten Open-Weight-Modelle, die derzeit verfügbar sind, und keines ist ein realistisches Self-Hosting-Ziel für ein typisches Unternehmen. Ein Modell mit 2,8 Billionen Parametern in Produktionsskala zu betreiben erfordert GPU-Infrastruktur im Bereich von USD 10 Millionen bis 100 Millionen oder mehr, oder eine ausgehandelte Partnerschaft mit einem verwalteten Inference-Anbieter. Das ist eine Infrastruktur-Entscheidung im Mass eines Rechenzentrumbaus statt Software-Installation. Wenige Unternehmen brauchen das.

Manchmal sehen Sie K3 als in der Lage beschrieben, “auf Consumer-Hardware zu laufen”. Das ist selbst nach Quantisierung irreführend: K3’s Gewichte totalisieren etwa 1,4 Terabyte einmal komprimiert, mehr als irgendeine einzelne GPU am Markt halten kann, einschliesslich einer USD 50.000 bis 100.000 Workstation-Karte. Moonshots eigene Deployment-Anleitung fordert einen Cluster von 64 oder mehr Beschleunigern, und echtes Produktions-Deployment bedeutet, diesen Cluster zu mieten oder zu bauen, was mindestens zehn Tausend Dollar pro Monat kostet. Die Mathematik ist unerbittlich. Die Schlagzeile verschleiert sowohl echte Kosten als auch echte Infrastruktur.

Modelle, die die meisten Unternehmen realistisch selbst hosten können, sitzen in einer sehr anderen Ebene: 40 bis 100 Millionen Parameter Modelle, oft Mixture-of-Experts-Designs wo nur ein kleiner Bruchteil der Parameter pro Inferenz aktiviert, gut quantisiert auf einer einzigen hochleistungsfähigen GPU. GLM-5.2’s 40 Milliarden aktive Parameter und Mistral Large 3’s 41 Milliarden aktive fallen beide in diesen Bereich, obwohl ihre gesamten Parameterzahlen auf Papier gross aussehen. Dies ist auch wo kleinere Llama-Varianten und die meisten praktischen Self-Hosting-Deployments bereits leben. Die Billionen-Parameter-Flaggschiffe generieren Presseberichterstattung; diese kleineren Modelle generieren echten Produktionstraffic.

Zur breiteren Kostensfrage seien Sie skeptisch gegenüber dem Anspruch, dass Open-Weight-Modelle nun pauschal günstiger selbst zu hosten sind als eine proprietäre API. Das gilt nur oberhalb einer bestimmten Schwelle, und diese Schwelle wird durch Volumen und Vorhersehbarkeit statt durch Ihr Modell festgelegt. Self-Hosting zahlt sich hauptsächlich bei stabilen, hochvolumigen Workloads aus, Millionen Token pro Tag, über längere Zeit. Bei unvorhersehbarer oder sporadischer Nachfrage bleibt eine verwaltete API meist günstiger, wenn Sie GPU-Miete, Mitarbeiterstunden für Model-Evaluierung und betrieblichen Overhead beim Betrieb Ihres eigenen Inference-Stacks ehrlich einrechnen.

Die meisten Unternehmen, die 2026 Produktions-KI betreiben, verwenden stattdessen einen hybriden Ansatz statt sich für eine Seite zu entscheiden: verwaltete API für komplexes oder hochrisiko Reasoning, selbst gehostete kleinere Modelle für hochvolumige, niedrig-komplexe Arbeit wie Klassifizierung oder Erste-Entwurf-Erstellung. Falls Sie einen tieferen Durchgang dieses Kalküls für Ihre Workload wollen, behandelt unser Stück zu Betrieb eines lokalen Inference-Clusters für ein KMU Hardware und Break-even-Mathematik detailliert.

Die Compliance-Frage, die Niemandes Herstellerdeck Beantwortet

Vier der sechs glaubwürdigen Modellfamilien hier, Qwen, Kimi K3, DeepSeek und GLM, stammen aus chinesischen Labs. Das sind vier von sechs. Keine der offiziellen Dokumentation dieser Modelle spricht US-Exportkontrollvorschriften oder EU-AI-Act-Verpflichtungen an, die je nach Ihrer Jurisdiktion, Branche und Deployment-Methode gelten können.

Exportverwaltungsvorschriften und KI-spezifische EU-Gesetzgebung sind beide aktive, sich weiterentwickelnde Rechtsbereiche, und weder Moonshot, Alibaba noch Zhipu veröffentlicht Anleitung zu wie ihre Lizenz- oder Deployment-Bedingungen mit einem dieser Frameworks interagieren. Falls Ihr Unternehmen unter US-Exportkontroll-Jurisdiktion, in einem regulierten EU-Sektor oder bei Regierungs- oder Verteidigungs-naher Arbeit tätig ist, beziehen Sie Rechtsberatung ein, bevor Ingenieurwesen gegen das Modell zu bauen beginnt, während die Entscheidung noch billig zu vertreiben ist.

Wir werden nicht so tun, diese Frage hier zu lösen, weil sie wirklich von Ihrer Jurisdiktion, Branche und Ihren Deployment-Spezifika abhängt. Das werden wir sagen: Falls eines Herstellers Dokumentation zu Exportkontrollen und regulatorischer Exposition schweigt, ist dieses Schweigen nicht dasselbe wie ein Gesundheitszeugnis. Bauen Sie rechtliche Überprüfung ab Anfang in Ihre Evaluierungs-Timeline ein, bevor ein Modell bereits in Produktion ist und die Überprüfung zu einem Schritt wird, den jemand entdeckt, wurde übersprungen.

Wer Sollte Open-Weight-Modelle Jetzt Wirklich Evaluieren

Ein guter Fit wenn:

  • Sie haben eine hochvolumige, vorhersehbare Workload wo Token-Kosten sich über ein Jahr bedeutsam zusammensetzen.
  • Datenresidenz- oder vertragliche Datenlokalisierungsanforderungen machen eine Drittanbieter-API unabhängig von Kosten einen Hartnäckig-Nein.
  • Ihr primärer Anwendungsfall ist Code-Generierung oder eine andere enge, gut gemessene Aufgabe wo kleinere Open-Weight-Modelle bereits nahe Frontier-Niveau funktionieren.
  • Sie haben, oder sind willens, interne Fähigkeit aufzubauen ein Modell über die Zeit zu evaluieren, zu verfeinern und zu überwachen. Self-Hosting ist eine andauernde Engineeringverpflichtung die über anfängliches Deployment hinausgeht, ähnlicher dem Einstellen als dem Beschaffen.

Wahrscheinlich noch nicht die richtige Massnahme wenn:

  • Ihre Nutzung ist niedrigvolumig oder unvorhersehbar. Eine verwaltete API wird fast sicher günstiger bleiben.
  • Ihr Anwendungsfall ist breit, schwieriges Reasoning wo die jetzige Lücke zwischen Open-Weight und Frontier-Proprietary-Modellen (etwa 6 Punkte auf Artificial Analysis Intelligence Index) wahrscheinlich zu zählen ist.
  • Sie haben noch niemanden in-house der Model-Evaluierung und Infrastruktur als andauernde Verantwortung besitzt.
  • Sie erwägen ein Modell chinesischen Ursprungs für eine regulierte oder Regierungs-nahe Workload ohne rechtliche Genehmigung bereits in Hand.

Wo diese Landschaft Wirklich Hingeht

Die Lücke zwischen den besten Open-Weight-Modellen und den besten proprietären Frontier-Systemen hat sich über das vergangene Jahr bedeutsam verengt, von etwa 13 Punkten auf etwa 6 Punkte auf unabhängigen Benchmark-Indizes. Das ist ein echten Trend. Es ist vernünftig, zu erwarten, dass er anhält. Aber “verengt” ist nicht dasselbe wie “geschlossen”, und die Modelle, die momentan die meiste Aufmerksamkeit generieren, die Billionen-Parameter-Veröffentlichungen von Moonshot und Alibaba, sind die am wenigsten zugänglich für ein typisches Unternehmen wirklich zu betreiben.

Falls Sie evaluieren ob Open-Weight-KI einen Platz in Ihrem Stack hat, ist die üblicherweise nützlichere Frage nicht “welches Modell leitet das Ranking diesen Monat an”. Es ist ob Ihre Workload stabil genug und Ihr Team ausgestattet genug ist, um Self-Hosting zu zahlen, ob Daten-Empfindlichkeit den Aufwand rechtfertigt und ob das bestimmte Modell, das Sie erwägen, eine Lizenz hat, die Ihr Rechtsteam wirklich genehmigt. Diese Fragen bewegen sich nicht annähernd so schnell wie der Veröffentlichungs-Zyklus, was genau warum sie sorgfältig beantwortet zu werden verdienen. Für einen näheren Blick auf ob Self-Hosting zu Ihrer Situation passt, sehen Sie unseren Leitfaden zu On-Premise-KI für kleine und mittlere Unternehmen, und falls Agentic Frameworks Teil des Plans sind, behandelt unser Vergleich Open-Source versus proprietäre Agent-Plattformen die Ebene, die typischerweise auf dem Modell aufsitzt, das Sie wählen.

Häufige Fragen

Was bedeutet eigentlich « Open-Weight » und ist es das Gleiche wie Open Source?

Open-Weight bedeutet, dass die trainierten Parameter eines Modells für jeden veröffentlicht werden, um sie herunterzuladen und auszuführen, anders als geschlossene Modelle wie GPT oder Claude, die nur über eine API zugänglich sind. Es ist nicht das Gleiche wie Open Source: mehrere Open-Weight-Veröffentlichungen, darunter Metas Llama und Moonshots Kimi K3, verwenden benutzerdefinierte oder Community-Lizenzen mit Nutzungsbeschränkungen anstatt einer echten Open-Source-Lizenz wie Apache 2.0 oder MIT.

Welche Open-Weight-Modellfamilien sind 2026 für ein Unternehmen evaluationswert?

Sechs Familien haben derzeit glaubwürdige, unabhängig verifizierbare Produktionserfahrung: Qwen und Kimi K3 (Frontier-Skalierung, maximale Infrastrukturanforderungen), GLM und DeepSeek (starke Codierungsleistung zu niedrigeren Kosten) sowie Llama und Mistral (reife Ökosysteme mit permissiven Lizenzen). Welches passt, hängt von Ihrer Workload, Ihrer Lizenztoleranz und davon ab, ob Sie Frontier-Reasoning benötigen oder ein kleineres, kostengünstiges Modell für eine enge Aufgabe.

Sparen Open-Weight-Modelle tatsächlich Geld im Vergleich zu einer proprietären API wie Claude oder GPT?

Nur oberhalb eines bestimmten Volumens und nur für stabile, vorhersehbare Workloads. Self-Hosting mit sich feste Infrastruktur- und Personalkosten, die eine Pay-per-Token-API nicht hat, daher gewinnt es bei Kosten hauptsächlich bei nachhaltiger, hochvolumiger Nutzung. Bei unvorhersehbarer oder sporadischer Nachfrage bleibt eine verwaltete API meist günstiger, wenn GPU-Miete, Wartung und Bewertungszeit ehrlich eingerechnet werden.

Ist es legal für ein westliches Unternehmen, ein in China entwickeltes Open-Weight-Modell wie Qwen oder Kimi K3 einzusetzen?

Das hängt von Ihrer Jurisdiktion, Branche und Deployment-Methode ab, und die Herstellerdokumentation dieser Modelle behandelt Exportkontroll- oder EU-AI-Act-Verpflichtungen nicht. Unternehmen in regulierten Branchen oder unter US-Exportkontrollvorschriften sollten sich vor dem Einsatz eines Modells chinesischen Ursprungs in einem Produktionssystem rechtsstaatliche Beratung spezifisch für ihre Jurisdiktion holen.

Wie gross muss ein Open-Weight-Modell sein, um auf einer einzigen GPU zu laufen?

Modelle im Bereich von 40 bis 100 Milliarden Parametern, insbesondere Mixture-of-Experts-Designs bei denen nur ein Bruchteil der Parameter pro Token aktiviert wird, können gut quantisiert auf einer einzigen hochleistungsfähigen GPU laufen. Die Billionen-Parameter-Flaggschiff-Modelle wie Kimi K3 und Qwen 3.8-Max sind eine ganz andere Kategorie und erfordern Multi-GPU-Cluster oder eine verwaltete API statt einer einzelnen Workstation.

Insights

Setzen Sie diese Ideen um

Ein 30-minütiges Gespräch genügt, um herauszufinden, ob ein KI-Agent zu Ihrem Workflow passt — und was er einbringen würde.