Naar inhoud springen

Muziekgeneratie

Uit Scriptspace Wiki
Versie door Dieouwe (overleg | bijdragen) op 19 okt 2026 om 23:28 (Bijgewerkt vanaf de pc van DieOuwe (wiki-docs))

Muziekgeneratie (Muziekmaker en /zing)

Muziek maken met de eigen AI, op de eigen pc: in SBWebUI (de Muziekmaker) en in Discord met CoreBot (/zing). Zelfde opbouw als de Beeldmaker. Geen clouddienst. Stand: 19-10-2026, gebouwd (fasen 0 t/m 2 en /zing).

Model ACE-Step 1.5 (open source, MIT; gegenereerde muziek mag ook commercieel gebruikt worden), turbo-model + taalmodel 0.6B
Muziekserver 0.1.0 op de pc (poort 8789, map D:\DIEOUWE-AI\muziekserver), van buiten via muziek.scriptspace.nl (alleen met sleutel)
Songschrijver Ollama-model sunocat (Modelfile in muziekserver\sunocat, op basis van qwen3:4b-instruct, net als owlai)
SBWebUI Muziekmaker vanaf 0.9.24, nu 0.9.27 (eigen stijlen, openbaar, Galerij › Muziek, muziekblokken, Core AI stuurt door naar SunoCat)
CoreBot plugin Zingen 1.1.0 in de testbot (bot 0.7.2, met knopbericht op vaste tijden), nog niet live; instellingen per server op corebot.info 0.5.2
Code repo Die0uwe/SBwebui: tools/muziekserver, tools/discord-bot/plugins/zing; ontwerp docs/architectuur/muziekgeneratie.md (ADR-030)

Hoe het werkt

SBWebUI (Strato) --https--> muziek.scriptspace.nl (tunnel, sleutel) --> muziekserver (pc) --> ACE-Step 1.5 (videokaart)
CoreBot (pc) ----------------------------------------------------------> muziekserver (pc) --> ACE-Step 1.5
  1. Je vertelt waar het liedje over gaat. SunoCat schrijft een titel, een stijl (Engels: genre, instrumenten, stem, sfeer, tempo) en een songtekst met [Verse] en [Chorus].
  2. In SBWebUI verschijnt een muziekkaart: alles aan te passen (titel, stijl, tekst, taal, duur, kwaliteit, BPM, instrumentaal) en de knop 🎵 Maak nummer. In Discord gaat het in één keer.
  3. De muziekserver controleert de tekst, zet de opdracht in de wachtrij, wacht op de videokaart, zet Fooocus even uit, haalt Ollama uit het geheugen en start ACE-Step als die nog niet draait.
  4. Na 1 tot 3 minuten is er een MP3. SBWebUI bewaart hem zelf (Mijn muziek); CoreBot zet hem als bijlage in het kanaal.

Snelheid en geheugen (gemeten 19-10-2026, RTX 4060 8 GB)

Proef Tijd Videogeheugen
30 s, Nederlands 48 s 7,7 GB
2 min, Engels 168 s (inclusief modellen laden) 6,8 GB
30 s via SBWebUI (met Fooocus uit en ACE-Step opstarten) ±2 min
/zing 30 s (SunoCat + muziek) 77 s
  • ACE-Step moet alle modellen na hun stap uit het videogeheugen halen (ACESTEP_OFFLOAD_TO_CPU, _LM_, _DIT_); anders maakt hij het geluid op de processor en duurt 2 minuten muziek meer dan 20 minuten.
  • Muziek gebruikt bijna de hele kaart: nooit tegelijk met Fooocus. Beide servers delen één GPU-slot (gpu_slot.py, C:\SERVERS\DIEOUWE-AI\gpu-slot.json).
  • ACE-Step stopt na 5 minuten zonder werk (werkgeheugen vrij). Stond Fooocus eerst aan, dan zet de muziekserver hem daarna weer aan. De beeldserver (0.1.6) start Fooocus ook zelf als hij uit staat.
  • Nederlands zingen werkt; het oordeel over de kwaliteit ligt bij Ouwe.

Veiligheid

  • Altijd geweigerd: haat, oproepen tot geweld, en alles met kinderen of jongeren in een seksuele context.
  • Expliciete seksuele teksten: geweigerd (er is geen 18+ voor muziek in SBWebUI, en CoreBot vraagt het nooit aan).
  • SunoCat schrijft altijd nieuwe teksten (geen bestaande songteksten, geen "in de stijl van" een echte artiest).
  • Elk nummer krijgt het label "Gemaakt met AI".

Opslag en moderatie

  • SBWebUI-nummers staan op Strato (storage/muziek, afgeschermd), de gegevens in de tabel tracks. Delen: privé, via een geheime link of openbaar (Sound Lib); elk gedeeld nummer heeft een deelpagina met speler (nummer.php, 0.9.28).
  • Discord-nummers staan in Discord. Wie op SBWebUI met Discord inlogt, kan ze ophalen in Mijn muziek.
  • Op de pc houdt de muziekserver een logboek bij (ook geweigerde opdrachten: wie, waar, stijl, tekst) en een archief van 90 dagen. Te zien in het Controlepaneel › Muziek › Muziekopdrachten, met speler en een knop om de archiefmap te openen.

Instellen

  • SBWebUI: Beheer › AI-verbindingen › Muziekmaker: aan, https://muziek.scriptspace.nl, sleutel (kopieer-sleutel.bat in de map muziekserver), wie mag, nummers per dag. Per lid bij Gebruikers. Assistent SunoCat aanmaken met model sunocat.
  • CoreBot: corebot.info › Plugins › Zingen (aan, limieten, rol, kanalen). Testbot: zing-test-aanzetten.bat. Commando's: /zing en /zingknop (knop "Maak een liedje").
  • Pc: Controlepaneel › Muziek › Muziekserver op Start.

Fasen

Fase Wat Stand
0 Proef: installeren en meten klaar 19-10
1 Muziekserver, gedeelde GPU-wachtrij, MP3, tunnel, paneel klaar 19-10
2 SBWebUI Muziekmaker: muziekkaart, Mijn muziek, delen via link, rechten per lid, SunoCat klaar 19-10 (0.9.24)
3 CoreBot /zing (testbot), knopbericht op vaste tijden, corebot.info 0.5.2 gebouwd, nog testen en live zetten
3b Eigen stijlen, openbaar, Galerij › Muziek, muziekblokken (SBWebUI 0.9.27) klaar 19-10
later Deelpagina met speler (zoals beeld.php), openbare muziek in de galerij, Opnieuw/Variatie in SBWebUI, tegoed, externe cloud (standaard uit) idee