Naar inhoud springen

Open WebUI en Ollama: verschil tussen versies

Uit Scriptspace Wiki
k 1 versie geïmporteerd
Bijgewerkt vanaf de pc van DieOuwe (wiki-docs)
 
(6 tussenliggende versies door 2 gebruikers niet weergegeven)
Regel 4: Regel 4:
De motor achter alle eigen AI: draait de taalmodellen op de videokaart van de pc.
De motor achter alle eigen AI: draait de taalmodellen op de videokaart van de pc.
* '''Windows-app''' (sinds 17-10-2026 de enige Ollama; de Docker-versie is weggehaald). Start vanzelf met Windows en via het [[Controlepaneel]].
* '''Windows-app''' (sinds 17-10-2026 de enige Ollama; de Docker-versie is weggehaald). Start vanzelf met Windows en via het [[Controlepaneel]].
* Standaard contextgrootte 8192 (<code>OLLAMA_CONTEXT_LENGTH</code>, gelijk aan Beheer in [[SBWebUI]]); modellen als owlai en sunocat houden hun eigen 4096.
* Rekent Ollama na een herstart op de processor, dan herstelt het [[Controlepaneel]] dat zelf.
* Modellen staan op '''D:''' (<code>D:\ollama\models</code>) om C: vrij te houden.
* Modellen staan op '''D:''' (<code>D:\ollama\models</code>) om C: vrij te houden.
* Van buitenaf: ollama.scriptspace.nl, afgeschermd met de WAF-regel (zie [[Infrastructuur]]). Gebruikt door [[SBWebUI]], [[Blueprint CMS]] en [[ScriptSpace CMS]].
* Van buitenaf: ollama.scriptspace.nl, afgeschermd met de WAF-regel (zie [[Infrastructuur]]). Gebruikt door [[SBWebUI]], [[Blueprint CMS]] en [[ScriptSpace CMS]].
Regel 35: Regel 37:


[[Categorie:AI]] [[Categorie:Infrastructuur]]
[[Categorie:AI]] [[Categorie:Infrastructuur]]

Huidige versie van 2 nov 2026 02:35

Open WebUI en Ollama

[bewerken]

Ollama

[bewerken]

De motor achter alle eigen AI: draait de taalmodellen op de videokaart van de pc.

  • Windows-app (sinds 17-10-2026 de enige Ollama; de Docker-versie is weggehaald). Start vanzelf met Windows en via het Controlepaneel.
  • Standaard contextgrootte 8192 (OLLAMA_CONTEXT_LENGTH, gelijk aan Beheer in SBWebUI); modellen als owlai en sunocat houden hun eigen 4096.
  • Rekent Ollama na een herstart op de processor, dan herstelt het Controlepaneel dat zelf.
  • Modellen staan op D: (D:\ollama\models) om C: vrij te houden.
  • Van buitenaf: ollama.scriptspace.nl, afgeschermd met de WAF-regel (zie Infrastructuur). Gebruikt door SBWebUI, Blueprint CMS en ScriptSpace CMS.

Modellen

[bewerken]
Model Waarvoor
qwen3:4b-instruct standaard voor CoreBot (snel, goed Nederlands)
llama3.1 indelen van de Bibliotheek in SBWebUI
qwen2.5 7b, gemma2 9b, mistral algemene chat
qwen2.5-coder 7b code
deepseek-r1 (1.5b, 8b) redeneren
llava, qwen2.5vl afbeeldingen bekijken

Open WebUI

[bewerken]

Chat-website voor de modellen: ai.scriptspace.nl (eigen login). Draait in Docker en praat met de Windows-Ollama via host.docker.internal.

  • SBWebUI is DieOuwe's eigen versie van Open WebUI: Open WebUI verloor te veel snelheid door te veel opties, SBWebUI houdt het bewust licht en snel. Op termijn vervangt SBWebUI Open WebUI.
  • Instellingen staan ook in de eigen database van Open WebUI: een andere Ollama-link pas je daar aan (niet alleen in docker-compose).
  • Map met eigen branding: C:\SERVERS\DIEOUWE-AI\SB open AI.

Als de AI weg is

[bewerken]
  • SBWebUI en CoreBot kunnen DeepSeek als reserve gebruiken (alleen als de beheerder dat aanzet).
  • Controlepaneel › Test alles laat zien wat er mis is.