Qualcuno del tuo team ha già prezzato un workstation RTX 6000 Ada. Magari è venuto da una proposta di un vendor, magari da un thread su forum su come eseguire Llama localmente, ma il numero che è rimasto in mente era da qualche parte tra CHF 15.000 e 30.000, spesi una volta, senza fattura mensile dopo. È il pitch per un cluster di inference locale. Non è però proprio l’aritmetica corretta.
Questo articolo è per il team che ha già deciso, per ragioni di residenza dei dati, linguaggio contrattuale o obblighi di segreto professionale, che l’inference deve avvenire su hardware che controlli. Se stai ancora pesando se passare in-prem affatto, il nostro articolo compagno su chi effettivamente costruisce su AI in-prem copre quella decisione: il divario di competenze, la questione della localizzazione dei dati, e quando l’API ancora vince. Questo assume che tu abbia già fatto quella scelta e passa in rassegna cosa sia effettivamente un cluster di inference locale una volta che lo compri. E una volta che un workflow è in esecuzione su di esso, se quel workflow stesso è ben progettato è una domanda separata, che affrontiamo in come riproghettiamo i processi attorno agli agenti piuttosto che aggiungere AI a qualsiasi processo già esista.
Un cluster di inference locale da CHF 15.000 a 30.000 costa circa CHF 671 al mese una volta ammortizzato l’hardware su tre anni e conteggiata l’energia svizzera realistica. Confrontato con un costo API blended di circa CHF 4,60 per milione di token per traffico agente reale, quel costo fisso si ripaga solo intorno a 146 milioni di token al mese matematicamente, e più realisticamente a 250-300 milioni una volta che consideri come il scaling sub-lineare della concorrenza effettivamente funziona piuttosto che la moltiplicazione pulita che una proiezione ingenua assume. Un team di 20 persone che effettua 50 chiamate agente al giorno, un’ancora illustrativa piuttosto che una statistica di mercato, raggiunge solo circa 66 milioni di token al mese. La lettura onesta è che l’inference locale a questo livello è fondamentalmente una decisione di residenza dei dati. Non comprarlo aspettandoti di risparmiare denaro, perché per la maggior parte delle PMI l’aritmetica qui sotto non supporta quello.
Cosa CHF 15.000 a 30.000 effettivamente compra
Tre percorsi hardware si trovano dentro questa fascia di budget a metà 2026, e un quarto vale la pena conoscere proprio perché non ci rientra.
RTX 6000 Ada o la più nuova RTX Pro 6000 Blackwell, integrate in uno chassis workstation (Lenovo ThinkStation, Dell Precision), sono la cosa più vicina a un default. La scheda Ada ha 48GB di VRAM a 300W e un workstation completo attorno a CHF 15.000 a 18.000. Salire alla scheda Blackwell con 96GB a 600W e lo stesso build si spinge verso CHF 25.000 a 30.000, il top di questa fascia.
Una singola RTX 5090 è l’opzione consumer-grade economica: 32GB di VRAM, un build completo intorno a CHF 8.000 a 12.000. Manca memoria ECC e supporto driver classe Quadro, ma molti praticanti la eseguono comunque una volta che hanno perfezionato il loro stack.
Una RTX A6000 ricondizionata atterra nella stessa fascia CHF 8.000 a 12.000 mentre le aziende dismettono l’hardware Ampere nel 2026, e funziona dal 10 al 15 percento più lentamente della controparte Ada su inference mentre offre gli stessi 48GB.
Il Mac Studio M4 Max è l’eccezione, e non nella direzione che ti aspetteresti. Una configurazione a memoria unificata da 64GB costa circa CHF 3.000 a 4.500, drammaticamente meno di qualsiasi percorso NVIDIA precedente e non un’opzione più cara e silenzioso al top della fascia budget. Non ha una GPU separata da cercare, esegue inference attraverso il framework MLX di Apple invece di CUDA, e il suo basso costo conta più del suo silenzio.
Il numero che conta più del prezzo qui è la potenza: un Mac Studio consuma circa 60 watt complessivi, contro 600 watt a un kilowatt intero per un workstation completo NVIDIA, coerente con il benchmarking indipendente di consumo energetico dell’hardware di inference. Questo decide dove la macchina può vivere. Il Mac Studio sta su una scrivania e rimane silenzioso; i build NVIDIA hanno bisogno di un circuito dedicato a 16 amp e vera ventilazione. Funzionano anche a 50-65 dBA sotto carico, abbastanza forte da notare durante una telefonata. Un pugno di team paga CHF 2.000 a 5.000 di più per un loop di raffreddamento a liquido per evitare questo.
Nessuno di questi ha bisogno di una sala server, solo da qualche parte con energia e flusso d’aria che non sia la scrivania di qualcuno nei casi NVIDIA, più qualcuno sufficientemente tecnico per racchiudere l’hardware e installare i driver.
Quali modelli open-weight si adattano a questo inviluppo VRAM
La VRAM disponibile decide quale modello si adatta. A 48GB, il limite per le schede Ada e A6000, un modello denso a 32 miliardi di parametri funziona comodamente a quantizzazione Q5 o Q6 con spazio per una finestra di contesto decente. Le varianti Qwen 3.5 27B e modelli Mistral densi simili si trovano qui. Spingere un modello da 70B in 48GB a Q4 è tecnicamente possibile ma lascia poco margine per utenti concorrenti o contesto lungo, quindi trattalo come un caso limite piuttosto che un default.
Salire a 96GB sulla scheda Blackwell o 64GB di memoria unificata sul Mac Studio, e i modelli da 70B-class a quantizzazione Q4 diventano il default comodo. Llama 3.3 70B e Qwen 2.5 72B si adattano entrambi con spazio per una vera finestra di contesto e una manciata di richieste concorrenti. Llama 4 Scout di Meta, un modello mixture-of-experts con 17 miliardi di parametri attivi ma 109 miliardi totali, si adatta anche alle schede più grandi una volta quantizzato e reggono bene nei compiti di ragionamento long-context.
Cosa non si adatta conta tanto quanto cosa sì. Mistral Large 3, uno dei migliori reasoner fully open-weight a metà 2026, ha 675 miliardi di parametri totali e ha bisogno di due a quattro GPU classe H100 anche a quantizzazione aggressiva. È chiaramente territorio di cluster enterprise, e nessuna quantità di trucchi di quantizzazione lo porta su una singola scheda workstation.
Su tool calling specificamente, le varianti più piccole di Qwen 3.5 guidano valutazioni indipendenti della performance open-weight tool-calling. Le classifiche benchmark, però, non predicono in modo affidabile come un modello si comporta contro il tuo toolset personale al livello di quantizzazione che intendi eseguire, usando il tuo template chat personale. Prova le definizioni di tool dell’agente rispetto esattamente a quello stack prima di impegnarti a un modello in produzione.
Il tetto di throughput onesto
Una singola GPU workstation non si comporta come un endpoint API con concorrenza illimitata. Su un modello da 70B a quantizzazione Q4, la RTX 6000 Ada e la A6000 forniscono circa 40-50 token al secondo a un utente, e reggono per 4-10 utenti concorrenti prima che i tempi di risposta inizino a salire oltre pochi secondi. Il benchmark di concorrenza pubblicato più vicino esegue un modello da 27B sulla scheda Blackwell più cara piuttosto che il build Ada/A6000 di questo pezzo. Ha misurato 46 token al secondo per un utente a contesto 1K, scendendo a circa 26-30 token al secondo per stream a tre utenti concorrenti. Il throughput aggregato era ancora in salita piuttosto che collasso.
Oltre 10-15 richieste concorrenti la KV cache, che è la memoria GPU che contiene lo stato della conversazione attiva, si riempie. Il server allora scambia quello stato verso la RAM di sistema per continuare. Ogni swap costa latenza, e oltre un certo punto l’intero sistema rallenta per tutti connessi piuttosto che fallire elegantemente solo per la richiesta più nuova.
Il Mac Studio scambia velocità per silenzio: 20-28 token al secondo per un singolo utente su un modello da 70B. Quel tetto probabilmente lo limita a due a cinque utenti concorrenti, poiché nessuno ha pubblicato benchmark di concorrenza rigorosi per esso ancora. L’RTX 5090 funziona un tocco più velocemente della scheda Ada per un singolo utente, nella fascia 60-70 token al secondo, ma condivide gli stessi limiti di concorrenza.
Questa è capacità per lo strumento interno di un team. Cade ben al di sotto di quello che un widget di supporto rivolto ai clienti o un call center necessita, e trattarla come tale è il modo più veloce per deludere chiunque l’ha richiesta.
Lo strato di serving: vLLM, SGLang, u Ollama
Tre server di inference coprono essenzialmente tutti gli schieramenti workstation nel 2026, e scegliere tra loro conta più che scegliere tra GPU.
vLLM è il default per qualsiasi cosa con più di un utente. Il suo trucco principale, PagedAttention, pool la memoria GPU per conversazioni attive invece di riservare un blocco fisso per richiesta, tagliando lo spreco di memoria da circa 60-80 percento fino a circa il 4 percento e raddoppiando a quadruplicando il throughput rispetto al batching ingenuo sulla stessa scheda. È lo standard di produzione a Meta, Mistral AI, Cohere e IBM, un segnale ragionevole per infrastruttura che nessuno vuole controllare.
SGLang guadagna il suo posto quando i tuoi agenti emettono output strutturato, JSON tool calls o campi di estrazione formattati, ripetutamente in un ciclo stretto. È purpose-built per la generazione vincolata e misura circa il 29 percento di throughput più alto di vLLM su workload dove le richieste condividono contesto, il pattern classico in un agente tool-calling che encadena diverse chiamate per turno.
Ollama merita la sua popolarità per esattamente un compito: avere un modello in esecuzione in sotto cinque minuti per vedere se vale la pena perseguire. Non ha controlli di risorsa granulari e non scala oltre l’uso singolo-utente, e schierarlo come lo strato di serving per uno strumento di team condiviso è il modo più comune singolo in cui le persone lasciano throughput sul tavolo a questo livello hardware.
Inizia con vLLM a meno che un workload pesante di output strutturato non ti punti verso SGLang. Entrambi sono open source con comunità attive, e passare tra loro più tardi è un cambiamento di configurazione piuttosto che una ricostruzione.
Quantizzazione: cosa Q4 effettivamente ti costa
A questo livello hardware, la VRAM è quasi sempre il vincolo vincolante. Questo rende la quantizzazione Q4, specificamente Q4_K_M, il default piuttosto che un compromesso. Taglia l’uso di memoria di circa il 75 percento e velocizza l’inference da 3 a 4 volte, l’unica ragione un modello da 70B si adatta a una singola scheda affatto.
Quel risparmio non è gratis. Q4 costa circa l’1-2 percento di qualità misurabile su modelli di 30B e più grandi, una perdita che la maggior parte dei workload agente non noterà in pratica. Su modelli sotto 7B, la stessa quantizzazione costa il 5-10 percento. Questo si mostra come un tasso di parsing JSON genuinamente peggiore o un argomento di tool sottilmente sbagliato. Questi fallimenti sono facili da mancare in una demo ed espensivi da mancare in produzione.
FP8 è l’alternativa più gentile dove l’hardware lo supporta nativamente, principalmente su schede classe Blackwell. La perdita di qualità si situa più vicino a 0,3-0,5 punti su benchmark standard. Non libera la VRAM che Q4 fa, quindi la maggior parte degli schieramenti workstation eseguono Q4 per necessità piuttosto che scelta.
Qualunque quantizzazione atterra, testala contro il tuo template chat personale e schema tool prima di schierarla. Un modello che pressa JSON perfettamente a precisione completa può iniziare a perdere campi a Q4. L’unico modo di sapere è eseguire il tuo set di valutazione personale attraverso lo stack esatto che pianifichi di spedire.
L’economia: costo fisso contro uso variabile
Ecco l’aritmetica dietro quel sommario.
Prendi il workstation RTX 6000 Ada come build di riferimento, poiché si siede mid-band. CHF 18.000 ammortizzati su 36 mesi costi CHF 500 al mese in solo hardware. Un sistema più o meno 1kW eseguito continuamente disegna circa 720 kWh al mese; al tariffa commerciale ElCom di CHF 0,237 per kWh, sono CHF 171 al mese in energia. Il costo fisso totale atterra intorno a CHF 671 al mese, in una fascia di grossomodo CHF 650 a 700 dipendendo dal tuo tariffa locale, se la macchina resti inattiva di notte o funzioni piatta.
Confrontalo con un costo API blended di circa CHF 4,60 per milione di token per traffico agente reale, basato su attuale prezzo API frontier-model blended attraverso token di input e output in una proporzione realistica quattro-a-uno, il pattern che una tipica chiamata agente supportata da retrieval effettivamente produce. Questo si siede deliberatamente sopra il costo più economico sul mercato, poiché riflette un mix realistico per workload agente invece di una figura input-only best-case.
Dividi il costo fisso per quel costo e ottieni il punto di break-even matematico: circa 146 milioni di token al mese. Questo assume tu possa effettivamente sostenerlo, e i dati di concorrenza sotto mostrano che è più difficile di quanto sembri: il throughput scala ben al di sotto linearmente mentre più utenti condividono una GPU, spingendo la soglia realistica più in alto di quanto la matematica nuda suggerisce.
L’utilizzo decide il tuo costo reale per token molto più che l’hardware che compri. Le righe multi-utente sotto usano una fascia, spiegata sotto la tavola:
| Workload (illustrativo, build di riferimento RTX 6000 Ada) | Token mensili | Costo fisso | Costo per milione di token |
|---|---|---|---|
| 1 utente, continuo a 45 token/secondo | ~117 milioni | CHF 671 | CHF 5,74 |
| 10 utenti concorrenti, continuo (scaling sub-lineare) | ~207-518 milioni | CHF 671 | CHF 1,30-3,25 |
| 1 utente, utilizzo realistico al 15% | ~17,5 milioni | CHF 671 | CHF 38 |
| 10 utenti, utilizzo realistico al 30% (scaling sub-lineare) | ~62-155 milioni | CHF 671 | CHF 4,30-10,80 |
Dieci utenti concorrenti non forniscono dieci volte il throughput di un utente: competono per la stessa memoria GPU e calcolo piuttosto che ognuno ottenendo una fetta dedicata. Un benchmark di concorrenza pubblicato su una scheda comparabile mette il moltiplicatore aggregato realistico a circa 1,8-4,4 volte il costo di un utente singolo piuttosto che 10 volte, la base per le fasce sopra.
Quella correzione ripensa ogni riga. La riga utente singolo continuo fallisce ancora sotto l’API eseguita piatta, poiché 117 milioni di token al mese sta sotto i 146 milioni di break-even. La riga utente dieci continuo è il caso genuinamente forte per hardware locale, a CHF 1,30-3,25 per milione di token anche all’estremità conservativa. La riga utente dieci, utilizzo 30 percento è quella da leggere attentamente. La sua fascia, CHF 4,30-10,80 per milione di token, si strida il costo API piuttosto che batterlo completamente. Uno strumento condiviso moderatamente usato è più vicino a un lancio di moneta contro l’API che una vittoria netta.
Questo è anche da dove la soglia realistica 250-300 milioni nel sommario sopra viene: battere l’API con margine reale significa funzionare prossimo al pattern di utente dieci continuo piuttosto che il pattern di utilizzo leggero trenta-percento che la maggior parte degli strumenti condivisi effettivamente vedono. Un team di 20 persone che effettua 50 chiamate agente al giorno a circa 3.000 token per chiamata, illustrativo piuttosto che un sondaggio di mercato, raggiunge circa 66 milioni di token al mese; un team di 50 persone allo stesso ritmo raggiunge circa 165 milioni. Entrambi si siedono ben al di sotto di un margine comodo sopra break-even, che è il punto: il volume di token da solo raramente arriva a una PMI tipica lì. Questo è lo stesso trade-off che il nostro modello TCO per AI agente personalizzato contro infrastruttura di piattaforma passa in rassegna in termini più generali.
L’economia del Mac Studio guarda diversa una volta che il suo prezzo è corretto. CHF 4.000 ammortizzati su 36 mesi sono CHF 111 al mese. Aggiungi il suo draw di circa 60 watt e il costo fisso totale atterra vicino a CHF 120 al mese. Questo mette il suo break-even matematico intorno a 26 milioni di token, un volume che un singolo utente continuo che funziona i suoi 20-28 token al secondo pulisce da solo. Il build NVIDIA più caro non può gestire questo nemmeno a saturazione piena. Il trade-off è reale: meno margine VRAM per utenti concorrenti e un tetto di throughput che non servirà più che una manciata di persone. Per un singolo analista o un team di due persone con un requisito di residenza dei dati genuino, è il punto di partenza più difendibile dei quattro.
Niente di questo include il costo di effettivamente costruire il workflow agente che chiama il modello, che segue le stesse fasce indipendentemente da quale infrastruttura parla a.
Cosa rompe dopo l’installazione, e chi lo possiede
Comprare l’hardware è la parte facile. Cosa determina se il cluster è ancora utile nel mese sei è una serie di compiti ingombranti, non glamorosi, che nessuno bilancia per al momento dell’acquisto.
La configurazione richiede una a due settimane per qualcuno che ha fatto questo prima: assemblare l’hardware, installare driver, standing up vLLM u Ollama, e tirare giù un file modello di 70GB-plus, che da solo può prendere ore su una connessione da ufficio tipica. Più semplice che standing up un cluster Kubernetes, ma non plug-and-play.
Nuove versioni del modello arrivano più o meno ogni trimestre. Ognuna ha bisogno di essere scaricata, valutata rispetto a un set di test di domande reali e risposte note-buone, e una decisione deliberata su se swappare. Salta quel passo e i modelli scappano silenziosamente: gli stessi prompt producono risposte sottilmente peggiori, e nessuno lo nota finché un utente non si lamenta.
Non c’è ridondanza a questo livello. Un singolo workstation è un singolo punto di fallimento: se la GPU muore, sei giù finché non cerchi una sostituzione o non fallisci su un’API, tipicamente un giorno o due, a meno che non abbia costruito un percorso fallback in anticipo.
Il monitoraggio è ad hoc per default. I cluster enterprise ottengono dashboards di osservabilità appropriate; un workstation in uno armadio di solito ottiene niente oltre a un controllo ping, che ti dice della disponibilità e niente se le risposte sono ancora buone, la metrica che effettivamente conta.
Metti insieme, questo funziona circa il 20-30 percento del tempo continuo di una persona, ogni mese, per finché il cluster rimane in produzione. Non ha bisogno di una assunzione dedicata, ma ha bisogno di qualcuno nominato, con il tempo scavato fuori prima che l’hardware arrivi piuttosto che dopo la prima risposta imbarazzante sbagliata. Il rischio operazionale qui eccheggia il nostro sguardo più ampio ai rischi di sicurezza degli agenti AI: uno schieramento non monitorato, sotto-posseduto spesso diventa un’esposizione più grande che la scelta di infrastruttura significava ridurre affatto.
Quando questo è la chiamata giusta
Alcuni esempi lavorati mostrano il pattern. Una società di contabilità svizzera da 15 persone a 100 milioni di token al mese, con nessun vincolo di riservatezza del cliente oltre la discrezione ordinaria: l’API è più economica, e nessuno può risparmiare il 20-30 percento del tempo di un ingegnere. Una pratica legale da 25 persone a 150 milioni di token al mese pulisce il break-even matematico ma cade al di sotto della soglia realistica 250-300 milioni, così i numeri da soli si inclinano verso l’API anche qui. Una ditta di servizi finanziari da 40 persone a 300 milioni-plus di token al mese, con vincoli normativi reali e qualcuno già sullo staff per possedere l’infrastruttura, è il sì netto.
Quel caso di mezzo è dove la maggior parte delle decisioni genuinely di inference locale in Svizzera effettivamente accadono. Il volume da solo raramente pulisce la barra di break-even. La trazione verso hardware locale viene invece dalla nLPD, GDPR dove dati EU sono in ambito, segreto professionale sotto l’articolo 321 del Codice penale svizzero, aspettative FINMA per servizi finanziari regolati, o una clausola di localizzazione dei dati che il team legale di un cliente ha già scritto nel contratto.
Compra il workstation quando: la residenza dei dati è un requisito vincolante che un’API cloud genuinamente non può soddisfare, il tuo caso di uso interno può tollerare 4-10 utenti concorrenti e pochi secondi di latenza, e qualcuno del team può possedere la selezione del modello e la valutazione come un compito continuo piuttosto che un compito unico.
Saltalo quando: niente normativo o contrattuale sta forzando la decisione, il tuo volume mensile si siede nelle decine di milioni di token piuttosto che le centinaia, o hai bisogno di disponibilità rivolta ai clienti e concorrenza che una singola scheda non è mai stata costruita per consegnare. In ognuno di quei casi, affittare capacità GPU da un fornitore ospitato Svizzera o rimanere su un’API pubblica costa meno e chiede meno del tuo team, almeno finché volume e pressione normativa entrambi non puntano la stessa direzione.
Domande frequenti
Quanto costa al mese eseguire un cluster di inference locale?
Un cluster di inference locale classe workstation in fascia CHF 15.000 a 30.000 costa circa CHF 671 al mese una volta ammortizzato l'hardware su tre anni e conteggiata l'energia commerciale svizzera. Questa cifra cambia poco che la macchina resti inattiva o funzioni continuamente, per cui il fattore decisivo nel battere un abbonamento API è l'utilizzo piuttosto che il prezzo d'acquisto.
Un cluster di inference locale è più economico di un''API come Claude o GPT?
Solo a volumi elevati e sostenuti. Il break-even matematico rispetto a un costo API blended di circa CHF 4,60 per milione di token si situa intorno a 146 milioni di token al mese, e la soglia realistica considerando come il throughput scala effettivamente con utenti concorrenti è più prossima a 250-300 milioni. Un team di 20 persone che effettua 50 chiamate agente al giorno raggiunge solo circa 66 milioni di token al mese, ben al di sotto di entrambe le cifre, quindi per loro l'API rimane l'opzione più economica.
Quanti utenti può effettivamente supportare un workstation GPU da CHF 15.000 a 30.000?
Realisticamente 4-10 utenti concorrenti su un modello da 70 miliardi di parametri a quantizzazione a 4 bit, con un singolo utente che ottenendo 40-50 token al secondo. Oltre 10-15 richieste concorrenti, la GPU esaurisce la memoria per tracciare le conversazioni attive e i tempi di risposta aumentano drasticamente. Questo livello si presta a uno strumento interno per un team piuttosto che a una chatbot rivolta ai clienti che gestisce molte conversazioni simultanee.
Quali modelli open-weight effettivamente si adattano a questo hardware?
Con 48-96GB di VRAM, i modelli densi e mixture-of-experts nella classe 30-70 miliardi di parametri si adattano a quantizzazione Q4, incluso Llama 3.3 70B, Qwen 2.5 72B e i più piccoli varianti Qwen 3.5 costruiti per workflow ricchi di tool. Modelli frontier open-weight come Mistral Large 3, progettato per cluster multi-GPU enterprise, non si adattano a una singola scheda workstation a nessun livello di quantizzazione.
Quando l''inference locale ha senso per una piccola o media impresa?
Principalmente quando la residenza dei dati è un requisito vincolante derivato dalla legge svizzera sulla protezione dei dati, dalle regole di segreto professionale, dalla supervisione del settore finanziario o da una clausola contrattuale sulla localizzazione dei dati, e un'API pubblica genuinamente non può soddisfarla. Al di fuori di questo caso, il costo e l'onere di manutenzione raramente battono l'affitto di capacità GPU o il pagamento per token, poiché la maggior parte delle aziende non raggiunge mai il volume sostenuto dove la proprietà si ripaga.