Die Oberfläche und das Modell haben verschiedene Aufgaben
Für meinen lokalen Strata-Chat nutze ich Open WebUI im Browser. Die Oberfläche verwaltet Chats und die Modellauswahl. Die eigentliche Antwort berechnet der angebundene Modelldienst. Bei einem Fehler kann ich dadurch gezielt prüfen, welche Ebene betroffen ist.

Modellanbindung mit einer kleinen Anfrage prüfen
Open WebUI kann Ollama und OpenAI-kompatible Schnittstellen anbinden. Für den ersten Test verwende ich eine harmlose Textfrage. Danach prüfe ich, ob das vorgesehene Modell antwortet und ob Fehler nachvollziehbar angezeigt werden. Eine grüne Statusanzeige allein sagt noch wenig über die Qualität der Antwort.
Bei Dateien den vollständigen Datenweg prüfen
Ein Datei-Upload kann weitere Verarbeitung auslösen, etwa Texterkennung, Einbettungen oder Suche. Für vertrauliche Unterlagen prüfe ich getrennt, wo die Datei gespeichert wird, welcher Dienst den Text verarbeitet und welches Modell die Auszüge erhält. Das hängt von den aktivierten Funktionen und ihren Anbietern ab.
Einen Vergleich reproduzierbar machen
Zwei Modelle bekommen dieselbe Frage in jeweils einem frischen Chat. Ich notiere das Modell, die Antwortzeit und zwei oder drei Kriterien für die Antwortqualität. Wer später nur den Chatverlauf sichern möchte, sollte vorab prüfen, welche Daten der gewählte Export tatsächlich enthält.