Naar inhoud springen

Muziekgeneratie: verschil tussen versies

Uit Scriptspace Wiki
Bijgewerkt vanaf de pc van DieOuwe (wiki-docs)
Bijgewerkt vanaf de pc van DieOuwe (wiki-docs)
 
Regel 2: Regel 2:
= Muziekgeneratie (Muziekmaker en /zing) =
= Muziekgeneratie (Muziekmaker en /zing) =
Muziek maken met de eigen AI, op de eigen pc: in [[SBWebUI]] (de '''Muziekmaker''') en in Discord met [[CoreBot]] ('''/zing''').
Muziek maken met de eigen AI, op de eigen pc: in [[SBWebUI]] (de '''Muziekmaker''') en in Discord met [[CoreBot]] ('''/zing''').
Zelfde opbouw als de [[Fooocus beeldgeneratie|Beeldmaker]]. Geen clouddienst. ''Stand: 19-10-2026, gebouwd (fasen 0 t/m 2 en /zing).''
Zelfde opbouw als de [[Fooocus beeldgeneratie|Beeldmaker]]. Geen clouddienst. ''Stand: 1-11-2026, live in SBWebUI en CoreBot.''


{| class="wikitable"
{| class="wikitable"
| '''Model''' || ACE-Step 1.5 (open source, MIT; gegenereerde muziek mag ook commercieel gebruikt worden), turbo-model + taalmodel 0.6B
| '''Model''' || ACE-Step 1.5 (open source, MIT; gegenereerde muziek mag ook commercieel gebruikt worden), turbo-model + taalmodel 0.6B
|-
|-
| '''Muziekserver''' || 0.1.0 op de pc (poort 8789, map <code>D:\DIEOUWE-AI\muziekserver</code>), van buiten via '''muziek.scriptspace.nl''' (alleen met sleutel)
| '''Muziekserver''' || 0.1.2 op de pc (poort 8789, map <code>D:\DIEOUWE-AI\muziekserver</code>), van buiten via '''muziek.scriptspace.nl''' (alleen met sleutel)
|-
|-
| '''Songschrijver''' || Ollama-model '''sunocat''' (Modelfile in <code>muziekserver\sunocat</code>, op basis van qwen3:4b-instruct, net als owlai)
| '''Songschrijver''' || Ollama-model '''sunocat''' (Modelfile in <code>muziekserver\sunocat</code>, op basis van qwen3:4b-instruct, net als owlai)
|-
|-
| '''SBWebUI''' || Muziekmaker vanaf '''0.9.24''', nu '''0.9.27''' (eigen stijlen, openbaar, Galerij › Muziek, muziekblokken, Core AI stuurt door naar SunoCat)
| '''SBWebUI''' || Muziekmaker vanaf '''0.9.24''', nu '''0.9.64''' (eigen MP3 en covers sinds 0.9.55, hitlijst en [[Corebot Radio|radio]] sinds 0.9.62, eigen stijlen, openbaar, Galerij › Muziek, muziekblokken, Core AI stuurt door naar SunoCat)
|-
|-
| '''CoreBot''' || plugin '''Zingen 1.1.0''' in de testbot (bot 0.7.2, met knopbericht op vaste tijden), nog niet live; instellingen per server op corebot.info 0.5.2
| '''CoreBot''' || plugin '''Zingen 1.2.0''' live (bot 0.7.2), standaard uit, met knopbericht en Cover maken; plugin [[Corebot Radio]]; instellingen per server op corebot.info
|-
|-
| '''Code''' || repo Die0uwe/SBwebui: <code>tools/muziekserver</code>, <code>tools/discord-bot/plugins/zing</code>; ontwerp <code>docs/architectuur/muziekgeneratie.md</code> (ADR-030)
| '''Code''' || repo Die0uwe/SBwebui: <code>tools/muziekserver</code>, <code>tools/discord-bot/plugins/zing</code>; ontwerp <code>docs/architectuur/muziekgeneratie.md</code> (ADR-030)
Regel 71: Regel 71:
| 2 || SBWebUI Muziekmaker: muziekkaart, Mijn muziek, delen via link, rechten per lid, SunoCat || klaar 19-10 (0.9.24)
| 2 || SBWebUI Muziekmaker: muziekkaart, Mijn muziek, delen via link, rechten per lid, SunoCat || klaar 19-10 (0.9.24)
|-
|-
| 3 || CoreBot /zing (testbot), knopbericht op vaste tijden, corebot.info 0.5.2 || gebouwd, nog testen en live zetten
| 3 || CoreBot /zing, knopbericht op vaste tijden, corebot.info || live (bot 0.7.2)
|-
|-
| 3b || Eigen stijlen, openbaar, Galerij › Muziek, muziekblokken (SBWebUI 0.9.27) || klaar 19-10
| 3b || Eigen stijlen, openbaar, Galerij › Muziek, muziekblokken (SBWebUI 0.9.27) || klaar 19-10
|-
|-
| later || Deelpagina met speler (zoals beeld.php), openbare muziek in de galerij, Opnieuw/Variatie in SBWebUI, tegoed, externe cloud (standaard uit) || idee
| 3c || Sound Lib, deelpagina, hitlijst, [[Corebot Radio]] met keuren en zenders || live (0.9.64)
|-
| gepland || '''Eigen stem:''' proef met Demucs en RVC (Applio), alleen voor admin en mods. Bestaat nog niet; verder alleen als de proef goed klinkt || proef
|-
| later || Opnieuw/Variatie in SBWebUI, bewerken (cover, repaint, verlengen), tegoed, externe cloud (standaard uit) || idee
|}
|}


[[Categorie:AI]] [[Categorie:Project]]
[[Categorie:AI]] [[Categorie:Project]]

Huidige versie van 2 nov 2026 02:35

Muziekgeneratie (Muziekmaker en /zing)

[bewerken]

Muziek maken met de eigen AI, op de eigen pc: in SBWebUI (de Muziekmaker) en in Discord met CoreBot (/zing). Zelfde opbouw als de Beeldmaker. Geen clouddienst. Stand: 1-11-2026, live in SBWebUI en CoreBot.

Model ACE-Step 1.5 (open source, MIT; gegenereerde muziek mag ook commercieel gebruikt worden), turbo-model + taalmodel 0.6B
Muziekserver 0.1.2 op de pc (poort 8789, map D:\DIEOUWE-AI\muziekserver), van buiten via muziek.scriptspace.nl (alleen met sleutel)
Songschrijver Ollama-model sunocat (Modelfile in muziekserver\sunocat, op basis van qwen3:4b-instruct, net als owlai)
SBWebUI Muziekmaker vanaf 0.9.24, nu 0.9.64 (eigen MP3 en covers sinds 0.9.55, hitlijst en radio sinds 0.9.62, eigen stijlen, openbaar, Galerij › Muziek, muziekblokken, Core AI stuurt door naar SunoCat)
CoreBot plugin Zingen 1.2.0 live (bot 0.7.2), standaard uit, met knopbericht en Cover maken; plugin Corebot Radio; instellingen per server op corebot.info
Code repo Die0uwe/SBwebui: tools/muziekserver, tools/discord-bot/plugins/zing; ontwerp docs/architectuur/muziekgeneratie.md (ADR-030)

Hoe het werkt

[bewerken]
SBWebUI (Strato) --https--> muziek.scriptspace.nl (tunnel, sleutel) --> muziekserver (pc) --> ACE-Step 1.5 (videokaart)
CoreBot (pc) ----------------------------------------------------------> muziekserver (pc) --> ACE-Step 1.5
  1. Je vertelt waar het liedje over gaat. SunoCat schrijft een titel, een stijl (Engels: genre, instrumenten, stem, sfeer, tempo) en een songtekst met [Verse] en [Chorus].
  2. In SBWebUI verschijnt een muziekkaart: alles aan te passen (titel, stijl, tekst, taal, duur, kwaliteit, BPM, instrumentaal) en de knop 🎵 Maak nummer. In Discord gaat het in één keer.
  3. De muziekserver controleert de tekst, zet de opdracht in de wachtrij, wacht op de videokaart, zet Fooocus even uit, haalt Ollama uit het geheugen en start ACE-Step als die nog niet draait.
  4. Na 1 tot 3 minuten is er een MP3. SBWebUI bewaart hem zelf (Mijn muziek); CoreBot zet hem als bijlage in het kanaal.

Snelheid en geheugen (gemeten 19-10-2026, RTX 4060 8 GB)

[bewerken]
Proef Tijd Videogeheugen
30 s, Nederlands 48 s 7,7 GB
2 min, Engels 168 s (inclusief modellen laden) 6,8 GB
30 s via SBWebUI (met Fooocus uit en ACE-Step opstarten) ±2 min
/zing 30 s (SunoCat + muziek) 77 s
  • ACE-Step moet alle modellen na hun stap uit het videogeheugen halen (ACESTEP_OFFLOAD_TO_CPU, _LM_, _DIT_); anders maakt hij het geluid op de processor en duurt 2 minuten muziek meer dan 20 minuten.
  • Muziek gebruikt bijna de hele kaart: nooit tegelijk met Fooocus. Beide servers delen één GPU-slot (gpu_slot.py, C:\SERVERS\DIEOUWE-AI\gpu-slot.json).
  • ACE-Step stopt na 5 minuten zonder werk (werkgeheugen vrij). Stond Fooocus eerst aan, dan zet de muziekserver hem daarna weer aan. De beeldserver (0.1.6) start Fooocus ook zelf als hij uit staat.
  • Nederlands zingen werkt; het oordeel over de kwaliteit ligt bij Ouwe.

Veiligheid

[bewerken]
  • Altijd geweigerd: haat, oproepen tot geweld, en alles met kinderen of jongeren in een seksuele context.
  • Expliciete seksuele teksten: geweigerd (er is geen 18+ voor muziek in SBWebUI, en CoreBot vraagt het nooit aan).
  • SunoCat schrijft altijd nieuwe teksten (geen bestaande songteksten, geen "in de stijl van" een echte artiest).
  • Elk nummer krijgt het label "Gemaakt met AI".

Opslag en moderatie

[bewerken]
  • SBWebUI-nummers staan op Strato (storage/muziek, afgeschermd), de gegevens in de tabel tracks. Delen: privé, via een geheime link of openbaar (Sound Lib); elk gedeeld nummer heeft een deelpagina met speler (nummer.php, 0.9.28).
  • Discord-nummers staan in Discord. Wie op SBWebUI met Discord inlogt, kan ze ophalen in Mijn muziek.
  • Op de pc houdt de muziekserver een logboek bij (ook geweigerde opdrachten: wie, waar, stijl, tekst) en een archief van 90 dagen. Te zien in het Controlepaneel › Muziek › Muziekopdrachten, met speler en een knop om de archiefmap te openen.

Instellen

[bewerken]
  • SBWebUI: Beheer › AI-verbindingen › Muziekmaker: aan, https://muziek.scriptspace.nl, sleutel (kopieer-sleutel.bat in de map muziekserver), wie mag, nummers per dag. Per lid bij Gebruikers. Assistent SunoCat aanmaken met model sunocat.
  • CoreBot: corebot.info › Plugins › Zingen (aan, limieten, rol, kanalen). Testbot: zing-test-aanzetten.bat. Commando's: /zing en /zingknop (knop "Maak een liedje").
  • Pc: Controlepaneel › Muziek › Muziekserver op Start.

Fasen

[bewerken]
Fase Wat Stand
0 Proef: installeren en meten klaar 19-10
1 Muziekserver, gedeelde GPU-wachtrij, MP3, tunnel, paneel klaar 19-10
2 SBWebUI Muziekmaker: muziekkaart, Mijn muziek, delen via link, rechten per lid, SunoCat klaar 19-10 (0.9.24)
3 CoreBot /zing, knopbericht op vaste tijden, corebot.info live (bot 0.7.2)
3b Eigen stijlen, openbaar, Galerij › Muziek, muziekblokken (SBWebUI 0.9.27) klaar 19-10
3c Sound Lib, deelpagina, hitlijst, Corebot Radio met keuren en zenders live (0.9.64)
gepland Eigen stem: proef met Demucs en RVC (Applio), alleen voor admin en mods. Bestaat nog niet; verder alleen als de proef goed klinkt proef
later Opnieuw/Variatie in SBWebUI, bewerken (cover, repaint, verlengen), tegoed, externe cloud (standaard uit) idee