Llama & Mistral im Selbstversuch: Was lokale KI auf Mittelstands-Hardware wirklich leistet

Die Argumente klingen überzeugend: Keine Kundendaten an Dritte, keine laufenden API-Kosten, volle Kontrolle über das Modell. Doch zwischen dem Versprechen eines lokal betriebenen Sprachmodells und dem Alltag im Serverraum liegen technische Realitäten. Wir haben uns die Frage gestellt, die sich viele IT-Verantwortliche im Mittelstand stellen: Kann ein Open-Source-Modell wie Llama 3 oder Mistral auf durchschnittlicher Firmen-Hardware überhaupt sinnvoll laufen?

Der Testaufbau: Was ein Mittelständler tatsächlich besitzt

Ausgangspunkt war keine Hochglanz-Konfiguration, sondern das, was in vielen deutschen Kanzleien, Produktionsbetrieben und Handelsfirmen im Rack steht: Ein Server mit AMD EPYC oder Intel Xeon, 128 GB RAM, dazu eine einzelne Workstation-GPU der mittleren Klasse (NVIDIA RTX 4060 Ti mit 16 GB VRAM). Gespiegelt wurde diese Konfiguration durch einen reinen CPU-Betrieb ohne dedizierte Grafikrechenleistung – jenes Szenario, das vermutlich die Mehrheit der KMU-Server realistisch abbildet.

Getestet wurden Llama 3.1 8B, Mistral 7B und als größerer Vertreter Llama 3.1 70B in quantisierter Form, betrieben über Ollama und llama.cpp.

Benchmark-Ergebnisse: Brauchbar, aber nicht blitzschnell

Die Ergebnisse fallen differenzierter aus, als die Marketingversprechen beider Lager nahelegen:

• Llama 3.1 8B auf GPU: Rund 40 Token pro Sekunde – flüssig genug für Chat-Anwendungen und interne Assistenten.
• Mistral 7B auf GPU: Etwa 45 Token pro Sekunde, bei leicht geringerer Ausgabequalität im Deutschen.
• Llama 3.1 70B auf CPU: Deutlich unter 3 Token pro Sekunde – für den produktiven Betrieb praktisch unbrauchbar, auch wenn RAM und Rechenleistung formal ausreichen.
• 8B-Modelle auf reiner CPU: 8 bis 12 Token pro Sekunde – für Batch-Verarbeitung akzeptabel, für Dialoge zäh.

Interessant war die Sprachqualität: Im Deutschen liefern beide Modellfamilien solide Ergebnisse, wobei Llama 3.1 bei Fachbegriffen und grammatikalischen Feinheiten spürbar vorne liegt. Für den Entwurf von E-Mails, die Zusammenfassung von Meeting-Notizen oder die Klassifizierung von Support-Tickets reicht die Qualität in jedem Fall aus.

Die Kostenrechnung: Cloud gegen Eigenbetrieb

Ein Vergleich über drei Jahre zeigt die wirtschaftliche Kipplage. Eine RTX-4060-Ti-basierte Workstation kostet inklusive Server-Anbindung rund 3.500 Euro einmalig, dazu Strom und Wartung von etwa 300 Euro jährlich. Gegenüber stehen API-Kosten von rund 50 bis 150 Euro pro Monat bei moderater Nutzung über Cloud-Anbieter – je nach Volumen.

Erst ab einer gewissen Nutzungsfrequenz, etwa ab intensiver täglicher Nutzung durch mehrere Teams, amortisiert sich der Eigenbetrieb. Bei gelegentlicher Nutzung ist die Cloud schlicht günstiger und wartungsärmer.

Wo sich der Aufwand lohnt – und wo nicht

Die ehrliche Einschätzung fällt so aus: Lohnt sich der Eigenbetrieb für Unternehmen mit strengen Datenschutzanforderungen – Kanzleien, Gesundheitswesen, Fertiger mit sensiblen Konstruktionsdaten – und einem klaren, eng umrissenen Anwendungsfall, dann durchaus. Ein lokal betriebenes 8B-Modell, das Support-Tickets vorsortiert oder Verträge zusammenfasst, ist heute eine tragfähige Option.

Nicht lohnt sich der Weg dagegen, wenn hochkomplexe Aufgaben anstehen, wenn die Nutzung sporadisch bleibt oder wenn im Unternehmen keine IT-Kompetenz vorhanden ist, die Modell-Updates, Sicherheit und Betrieb verantwortet. Ein 70B-Modell auf Standard-Hardware zu betreiben, ist und bleibt eine Geduldsprobe ohne Mehrwert.

Fazit: Nische statt Revolution

Lokale KI-Modelle sind im Mittelstand angekommen – aber als Werkzeug für definierte Anwendungsfälle, nicht als universeller Ersatz für Cloud-Dienste. Wer eine GPU, klare Aufgaben und Grundkompetenz im Betrieb mitbringt, kann mit Llama oder Mistral datenschutzkonform und kosteneffizient arbeiten. Alle anderen fahren mit hybriden Ansätzen derzeit besser: sensible Daten lokal, Alltagsaufgaben in der Cloud.