Muziekgeneratie (Muziekmaker en /zing)
[bewerken]
Muziek maken met de eigen AI, op de eigen pc: in SBWebUI (de Muziekmaker) en in Discord met CoreBot (/zing).
Zelfde opbouw als de Beeldmaker. Geen clouddienst. Stand: 1-11-2026, live in SBWebUI en CoreBot.
| Model |
ACE-Step 1.5 (open source, MIT; gegenereerde muziek mag ook commercieel gebruikt worden), turbo-model + taalmodel 0.6B
|
| Muziekserver |
0.1.2 op de pc (poort 8789, map D:\DIEOUWE-AI\muziekserver), van buiten via muziek.scriptspace.nl (alleen met sleutel)
|
| Songschrijver |
Ollama-model sunocat (Modelfile in muziekserver\sunocat, op basis van qwen3:4b-instruct, net als owlai)
|
| SBWebUI |
Muziekmaker vanaf 0.9.24, nu 0.9.64 (eigen MP3 en covers sinds 0.9.55, hitlijst en radio sinds 0.9.62, eigen stijlen, openbaar, Galerij › Muziek, muziekblokken, Core AI stuurt door naar SunoCat)
|
| CoreBot |
plugin Zingen 1.2.0 live (bot 0.7.2), standaard uit, met knopbericht en Cover maken; plugin Corebot Radio; instellingen per server op corebot.info
|
| Code |
repo Die0uwe/SBwebui: tools/muziekserver, tools/discord-bot/plugins/zing; ontwerp docs/architectuur/muziekgeneratie.md (ADR-030)
|
SBWebUI (Strato) --https--> muziek.scriptspace.nl (tunnel, sleutel) --> muziekserver (pc) --> ACE-Step 1.5 (videokaart)
CoreBot (pc) ----------------------------------------------------------> muziekserver (pc) --> ACE-Step 1.5
- Je vertelt waar het liedje over gaat. SunoCat schrijft een titel, een stijl (Engels: genre, instrumenten, stem, sfeer, tempo) en een songtekst met [Verse] en [Chorus].
- In SBWebUI verschijnt een muziekkaart: alles aan te passen (titel, stijl, tekst, taal, duur, kwaliteit, BPM, instrumentaal) en de knop 🎵 Maak nummer. In Discord gaat het in één keer.
- De muziekserver controleert de tekst, zet de opdracht in de wachtrij, wacht op de videokaart, zet Fooocus even uit, haalt Ollama uit het geheugen en start ACE-Step als die nog niet draait.
- Na 1 tot 3 minuten is er een MP3. SBWebUI bewaart hem zelf (Mijn muziek); CoreBot zet hem als bijlage in het kanaal.
Snelheid en geheugen (gemeten 19-10-2026, RTX 4060 8 GB)
[bewerken]
| Proef |
Tijd |
Videogeheugen
|
| 30 s, Nederlands |
48 s |
7,7 GB
|
| 2 min, Engels |
168 s (inclusief modellen laden) |
6,8 GB
|
| 30 s via SBWebUI (met Fooocus uit en ACE-Step opstarten) |
±2 min |
|
| /zing 30 s (SunoCat + muziek) |
77 s |
|
- ACE-Step moet alle modellen na hun stap uit het videogeheugen halen (
ACESTEP_OFFLOAD_TO_CPU, _LM_, _DIT_); anders maakt hij het geluid op de processor en duurt 2 minuten muziek meer dan 20 minuten.
- Muziek gebruikt bijna de hele kaart: nooit tegelijk met Fooocus. Beide servers delen één GPU-slot (
gpu_slot.py, C:\SERVERS\DIEOUWE-AI\gpu-slot.json).
- ACE-Step stopt na 5 minuten zonder werk (werkgeheugen vrij). Stond Fooocus eerst aan, dan zet de muziekserver hem daarna weer aan. De beeldserver (0.1.6) start Fooocus ook zelf als hij uit staat.
- Nederlands zingen werkt; het oordeel over de kwaliteit ligt bij Ouwe.
- Altijd geweigerd: haat, oproepen tot geweld, en alles met kinderen of jongeren in een seksuele context.
- Expliciete seksuele teksten: geweigerd (er is geen 18+ voor muziek in SBWebUI, en CoreBot vraagt het nooit aan).
- SunoCat schrijft altijd nieuwe teksten (geen bestaande songteksten, geen "in de stijl van" een echte artiest).
- Elk nummer krijgt het label "Gemaakt met AI".
- SBWebUI-nummers staan op Strato (
storage/muziek, afgeschermd), de gegevens in de tabel tracks. Delen: privé, via een geheime link of openbaar (Sound Lib); elk gedeeld nummer heeft een deelpagina met speler (nummer.php, 0.9.28).
- Discord-nummers staan in Discord. Wie op SBWebUI met Discord inlogt, kan ze ophalen in Mijn muziek.
- Op de pc houdt de muziekserver een logboek bij (ook geweigerde opdrachten: wie, waar, stijl, tekst) en een archief van 90 dagen. Te zien in het Controlepaneel › Muziek › Muziekopdrachten, met speler en een knop om de archiefmap te openen.
- SBWebUI: Beheer › AI-verbindingen › Muziekmaker: aan,
https://muziek.scriptspace.nl, sleutel (kopieer-sleutel.bat in de map muziekserver), wie mag, nummers per dag. Per lid bij Gebruikers. Assistent SunoCat aanmaken met model sunocat.
- CoreBot: corebot.info › Plugins › Zingen (aan, limieten, rol, kanalen). Testbot:
zing-test-aanzetten.bat. Commando's: /zing en /zingknop (knop "Maak een liedje").
- Pc: Controlepaneel › Muziek › Muziekserver op Start.
| Fase |
Wat |
Stand
|
| 0 |
Proef: installeren en meten |
klaar 19-10
|
| 1 |
Muziekserver, gedeelde GPU-wachtrij, MP3, tunnel, paneel |
klaar 19-10
|
| 2 |
SBWebUI Muziekmaker: muziekkaart, Mijn muziek, delen via link, rechten per lid, SunoCat |
klaar 19-10 (0.9.24)
|
| 3 |
CoreBot /zing, knopbericht op vaste tijden, corebot.info |
live (bot 0.7.2)
|
| 3b |
Eigen stijlen, openbaar, Galerij › Muziek, muziekblokken (SBWebUI 0.9.27) |
klaar 19-10
|
| 3c |
Sound Lib, deelpagina, hitlijst, Corebot Radio met keuren en zenders |
live (0.9.64)
|
| gepland |
Eigen stem: proef met Demucs en RVC (Applio), alleen voor admin en mods. Bestaat nog niet; verder alleen als de proef goed klinkt |
proef
|
| later |
Opnieuw/Variatie in SBWebUI, bewerken (cover, repaint, verlengen), tegoed, externe cloud (standaard uit) |
idee
|