Die Aufgabe entscheidet über den Betriebsort
Ein Sprachmodell auf dem eigenen Server kann für wiederkehrende Hintergrundaufgaben gut passen. Für ein flüssiges Telefongespräch zählen dagegen auch Antwortbeginn und Sprachqualität. Meine Entscheidung beginnt deshalb mit dem konkreten Ablauf: Welche Daten werden benötigt, wie schnell muss eine Antwort kommen und was passiert bei einer Störung?
In meinen eigenen Projekten nutze ich lokale Modelle und externe Dienste nebeneinander. Der Aufbau ist keine allgemeine Empfehlung für jeden Arbeitsplatz. Er zeigt, wie ich Anforderungen prüfe und Entscheidungen anhand der tatsächlichen Nutzung treffe.
Was lokal in meiner Anlage bedeutet
Strata und Ollama führen ausgewählte Modellaufgaben auf eigener Hardware aus. Dazu gehören Textverarbeitung und weitere passend ausgewählte Hintergrundaufträge. Die Modelle beanspruchen Arbeitsspeicher, Rechenzeit und gegebenenfalls Grafikspeicher. Ihre Größe allein sagt noch nicht, ob der gesamte Ablauf zuverlässig funktioniert.
Lokale Modellverarbeitung bedeutet außerdem nicht, dass der komplette Auftrag offline arbeitet. Eine Recherche fragt weiterhin externe Quellen ab. Eine Push-Nachricht kann einen externen Zustelldienst benötigen. Ich unterscheide deshalb Modellverarbeitung, Werkzeuge, Speicherung und Versand.
Wo externe Dienste für mich sinnvoll bleiben
Bei Telefon und JARVIS sind kurze Antwortzeiten und passende Ergebnisse besonders wichtig. Für solche Abläufe können externe Hauptmodelle weiterhin die sinnvollere Wahl sein. Bei langsameren Hintergrundaufgaben lässt sich eher prüfen, ob ein lokales Modell genügt.
Dabei entstehen unterschiedliche Abhängigkeiten: Ein externer Dienst benötigt einen erreichbaren Anbieter und eine nutzbare Anmeldung. Ein eigener Server benötigt funktionierende Hardware, ausreichend freien Speicher und einen gepflegten Betrieb. Ich bewerte beides anhand der Aufgabe, statt den Standort allein zum Qualitätsmerkmal zu machen.
Ein Ersatzmodell verändert auch den Datenweg
Ein lokales Modell kann vorübergehend nicht antworten oder ein unbrauchbares Ergebnis liefern. Für ausgewählte Aufträge habe ich deshalb einen Rückfall auf das konfigurierte Hermes-Hauptmodell vorgesehen. Das ist eine konkrete Betriebsentscheidung und keine Eigenschaft, die jeder lokale Auftrag automatisch besitzt.
Sobald der Ersatz ein externer Dienst ist, können dabei Auftragsdaten diesen Dienst erreichen. Ein solcher Ablauf darf nicht als ausschließlich lokale Verarbeitung beschrieben werden. Für sensible Aufgaben muss vorab feststehen, welche Inhalte einen externen Ersatzweg benutzen dürfen. Ohne passende Freigabe ist ein sichtbarer Fehler die bessere Lösung.
Geschwindigkeit und Qualität am Ablauf messen
Für einen Vergleich verwende ich dieselbe Aufgabe und berücksichtige Antwortbeginn, gesamte Laufzeit und Qualität des Ergebnisses. Ein bereits geladenes Modell verhält sich anders als ein Kaltstart. Gleichzeitig laufende Aufgaben können die verfügbare Reserve verändern.
Die Versuchsreihe mit meinen beiden Servern hat gezeigt, warum pauschale Aussagen über Prozessoren wenig helfen. Ein Modell kann für einen Hintergrundauftrag ausreichend schnell sein und für eine Telefonkette trotzdem nicht passen. Entscheidend bleibt das Ergebnis im vorgesehenen Einsatz, einschließlich der Prüfung bei Fehlern.
Kontrolle, Kosten und Wiederanlauf mitdenken
Eigene Hardware verursacht Aufwand für Anschaffung, Strom, Speicher und Wartung. Externe Dienste können laufende Kosten und Nutzungslimits haben. Ich vergleiche deshalb den gesamten Betriebsaufwand; der Wegfall einer einzelnen Anfragegebühr macht ein System nicht automatisch kostenlos.
Zu einem nachvollziehbaren Betrieb gehören auch gesicherte Konfigurationen, getrennt verwaltete Zugänge und ein erreichbarer Wiederanlaufplan. Bei Docker-Anwendungen berücksichtige ich die persistenten Daten gesondert vom Container. Bei der Sicherung zählt neben dem vorhandenen Archiv, ob sich die benötigte Anwendung damit tatsächlich wiederherstellen lässt.
Meine Entscheidungshilfe
Für planbare Hintergrundarbeit prüfe ich zuerst den lokalen Weg. Für zeitkritische Sprache behalte ich die Antwortzeit besonders im Blick. Bei Daten mit erhöhtem Schutzbedarf kläre ich den gesamten Datenweg, bevor ein externer Dienst oder Ersatz aktiviert wird.
Diese Entscheidungen bleiben überprüfbar und können sich mit anderer Hardware, besseren Modellen oder veränderten Anforderungen ändern. Meine Praxisartikel dokumentieren den jeweiligen Aufbau und seine Grenzen. Sie beschreiben eigene Erfahrungen und bieten einen Ausgangspunkt für die eigene Bewertung.