NEU
Für die Einbindung unserer OpenSource LLMs haben wir „LiteLLM“ eingeführt. Damit können wir LLMs von mehr als einem Anbieter beziehen und erhöhen so die Ausfallsicherheit. Aktuelle Anbieter sind IONOS und StackIT.
Neben unserem Standard-Assistenten „KoKI“ haben wir einen speziellen „Websuche-Assistenten“ gebaut, der verschiedene Filter zur DLP (= data loss prevention) bietet. Damit lassen sich Web-Anfragen anonymisieren, sodass wir auch hier den Schutz Ihrer Daten gewähren können. Dieser Websuche-Assistent ist in einer Testphase für Premium-User verfügabr und wird nach erfolgreichen Tests in den Standard-Assistenten „KoKI“ integriert.
Aktuelle LLMs
Für den „KoKI-Assistenten“ haben wir aktuell das LLM „QWEN3“ (genauer: QWEN3-vl-23bB-kdvz) konfiguriert. Dieses LLM ist deutlich leistungsfähiger als das vorige GPT-OSS und als OpenSource Variante im Basis-Paket verfügbar.
Für Assistenten ausserdem verfügbar:
- GPT-OSS-120B
- Llama-3.3-70B
- BAAI/bge-m3
Für das Erstellen eigener Assistenten siehe → Anleitungen (User-Bereich)
OpenWebUI
Aktuelle Version: v 0.8.11
neue Features (für Premium-User):
- Skills (Vorlagen)
- Prompt-Shortcuts
Dokumentation: Open WebUI – Realeases: Releases · open-webui/open-webui
Support
durchschnittliche Bearbeitungszeit: weniger als 2 Werktage