Muziekgeneratie (Muziekmaker en /zing)
Muziek maken met de eigen AI, op de eigen pc: in SBWebUI (de Muziekmaker) en in Discord met CoreBot (/zing).
Zelfde opbouw als de Beeldmaker. Geen clouddienst. Stand: 19-10-2026, gebouwd (fasen 0 t/m 2 en /zing).
| Model |
ACE-Step 1.5 (open source, MIT; gegenereerde muziek mag ook commercieel gebruikt worden), turbo-model + taalmodel 0.6B
|
| Muziekserver |
0.1.0 op de pc (poort 8789, map D:\DIEOUWE-AI\muziekserver), van buiten via muziek.scriptspace.nl (alleen met sleutel)
|
| Songschrijver |
Ollama-model sunocat (Modelfile in muziekserver\sunocat, op basis van qwen3:4b-instruct, net als owlai)
|
| SBWebUI |
Muziekmaker vanaf 0.9.24, nu 0.9.27 (eigen stijlen, openbaar, Galerij › Muziek, muziekblokken, Core AI stuurt door naar SunoCat)
|
| CoreBot |
plugin Zingen 1.1.0 in de testbot (bot 0.7.2, met knopbericht op vaste tijden), nog niet live; instellingen per server op corebot.info 0.5.2
|
| Code |
repo Die0uwe/SBwebui: tools/muziekserver, tools/discord-bot/plugins/zing; ontwerp docs/architectuur/muziekgeneratie.md (ADR-030)
|
Hoe het werkt
SBWebUI (Strato) --https--> muziek.scriptspace.nl (tunnel, sleutel) --> muziekserver (pc) --> ACE-Step 1.5 (videokaart)
CoreBot (pc) ----------------------------------------------------------> muziekserver (pc) --> ACE-Step 1.5
- Je vertelt waar het liedje over gaat. SunoCat schrijft een titel, een stijl (Engels: genre, instrumenten, stem, sfeer, tempo) en een songtekst met [Verse] en [Chorus].
- In SBWebUI verschijnt een muziekkaart: alles aan te passen (titel, stijl, tekst, taal, duur, kwaliteit, BPM, instrumentaal) en de knop 🎵 Maak nummer. In Discord gaat het in één keer.
- De muziekserver controleert de tekst, zet de opdracht in de wachtrij, wacht op de videokaart, zet Fooocus even uit, haalt Ollama uit het geheugen en start ACE-Step als die nog niet draait.
- Na 1 tot 3 minuten is er een MP3. SBWebUI bewaart hem zelf (Mijn muziek); CoreBot zet hem als bijlage in het kanaal.
Snelheid en geheugen (gemeten 19-10-2026, RTX 4060 8 GB)
| Proef |
Tijd |
Videogeheugen
|
| 30 s, Nederlands |
48 s |
7,7 GB
|
| 2 min, Engels |
168 s (inclusief modellen laden) |
6,8 GB
|
| 30 s via SBWebUI (met Fooocus uit en ACE-Step opstarten) |
±2 min |
|
| /zing 30 s (SunoCat + muziek) |
77 s |
|
- ACE-Step moet alle modellen na hun stap uit het videogeheugen halen (
ACESTEP_OFFLOAD_TO_CPU, _LM_, _DIT_); anders maakt hij het geluid op de processor en duurt 2 minuten muziek meer dan 20 minuten.
- Muziek gebruikt bijna de hele kaart: nooit tegelijk met Fooocus. Beide servers delen één GPU-slot (
gpu_slot.py, C:\SERVERS\DIEOUWE-AI\gpu-slot.json).
- ACE-Step stopt na 5 minuten zonder werk (werkgeheugen vrij). Stond Fooocus eerst aan, dan zet de muziekserver hem daarna weer aan. De beeldserver (0.1.6) start Fooocus ook zelf als hij uit staat.
- Nederlands zingen werkt; het oordeel over de kwaliteit ligt bij Ouwe.
Veiligheid
- Altijd geweigerd: haat, oproepen tot geweld, en alles met kinderen of jongeren in een seksuele context.
- Expliciete seksuele teksten: geweigerd (er is geen 18+ voor muziek in SBWebUI, en CoreBot vraagt het nooit aan).
- SunoCat schrijft altijd nieuwe teksten (geen bestaande songteksten, geen "in de stijl van" een echte artiest).
- Elk nummer krijgt het label "Gemaakt met AI".
Opslag en moderatie
- SBWebUI-nummers staan op Strato (
storage/muziek, afgeschermd), de gegevens in de tabel tracks. Delen: privé, via een geheime link of openbaar (Sound Lib); elk gedeeld nummer heeft een deelpagina met speler (nummer.php, 0.9.28).
- Discord-nummers staan in Discord. Wie op SBWebUI met Discord inlogt, kan ze ophalen in Mijn muziek.
- Op de pc houdt de muziekserver een logboek bij (ook geweigerde opdrachten: wie, waar, stijl, tekst) en een archief van 90 dagen. Te zien in het Controlepaneel › Muziek › Muziekopdrachten, met speler en een knop om de archiefmap te openen.
Instellen
- SBWebUI: Beheer › AI-verbindingen › Muziekmaker: aan,
https://muziek.scriptspace.nl, sleutel (kopieer-sleutel.bat in de map muziekserver), wie mag, nummers per dag. Per lid bij Gebruikers. Assistent SunoCat aanmaken met model sunocat.
- CoreBot: corebot.info › Plugins › Zingen (aan, limieten, rol, kanalen). Testbot:
zing-test-aanzetten.bat. Commando's: /zing en /zingknop (knop "Maak een liedje").
- Pc: Controlepaneel › Muziek › Muziekserver op Start.
Fasen
| Fase |
Wat |
Stand
|
| 0 |
Proef: installeren en meten |
klaar 19-10
|
| 1 |
Muziekserver, gedeelde GPU-wachtrij, MP3, tunnel, paneel |
klaar 19-10
|
| 2 |
SBWebUI Muziekmaker: muziekkaart, Mijn muziek, delen via link, rechten per lid, SunoCat |
klaar 19-10 (0.9.24)
|
| 3 |
CoreBot /zing (testbot), knopbericht op vaste tijden, corebot.info 0.5.2 |
gebouwd, nog testen en live zetten
|
| 3b |
Eigen stijlen, openbaar, Galerij › Muziek, muziekblokken (SBWebUI 0.9.27) |
klaar 19-10
|
| later |
Deelpagina met speler (zoals beeld.php), openbare muziek in de galerij, Opnieuw/Variatie in SBWebUI, tegoed, externe cloud (standaard uit) |
idee
|