Naar inhoud springen

Muziekgeneratie: verschil tussen versies

Uit Scriptspace Wiki
docs>wiki-docs
Geïmporteerd vanaf de pc van DieOuwe (wiki-docs)
Bijgewerkt vanaf de pc van DieOuwe (wiki-docs)
 
(4 tussenliggende versies door dezelfde gebruiker niet weergegeven)
Regel 1: Regel 1:
{{Navigatie}}
{{Navigatie}}
= Muziekgeneratie (plan) =
= Muziekgeneratie (Muziekmaker en /zing) =
Muziek maken met de eigen AI op de eigen pc, bediend vanuit [[SBWebUI]] (de '''Muziekmaker''') en later Discord. Zelfde opbouw als de [[Fooocus beeldgeneratie|Beeldmaker]].
Muziek maken met de eigen AI, op de eigen pc: in [[SBWebUI]] (de '''Muziekmaker''') en in Discord met [[CoreBot]] ('''/zing''').
''Status: voorstel; fase 0 (proef) akkoord op 18-10-2026. Nog niets gebouwd.''
Zelfde opbouw als de [[Fooocus beeldgeneratie|Beeldmaker]]. Geen clouddienst. ''Stand: 1-11-2026, live in SBWebUI en CoreBot.''


{| class="wikitable"
{| class="wikitable"
| '''Model''' || ACE-Step 1.5 (open source, MIT-licentie; gegenereerde muziek mag ook commercieel gebruikt worden)
| '''Model''' || ACE-Step 1.5 (open source, MIT; gegenereerde muziek mag ook commercieel gebruikt worden), turbo-model + taalmodel 0.6B
|-
|-
| '''Waar''' || de pc (RTX 4060, 8 GB), map <code>muziekserver</code>
| '''Muziekserver''' || 0.1.2 op de pc (poort 8789, map <code>D:\DIEOUWE-AI\muziekserver</code>), van buiten via '''muziek.scriptspace.nl''' (alleen met sleutel)
|-
|-
| '''Van buiten''' || via de Cloudflare-tunnel: <code>muziek.scriptspace.nl</code> (alleen met sleutel), net als img, tts en ollama
| '''Songschrijver''' || Ollama-model '''sunocat''' (Modelfile in <code>muziekserver\sunocat</code>, op basis van qwen3:4b-instruct, net als owlai)
|-
|-
| '''Ontwerp''' || repo Die0uwe/SBwebui: <code>docs/architectuur/muziekgeneratie.md</code>, besluit ADR-030
| '''SBWebUI''' || Muziekmaker vanaf '''0.9.24''', nu '''0.9.64''' (eigen MP3 en covers sinds 0.9.55, hitlijst en [[Corebot Radio|radio]] sinds 0.9.62, eigen stijlen, openbaar, Galerij › Muziek, muziekblokken, Core AI stuurt door naar SunoCat)
|-
| '''CoreBot''' || plugin '''Zingen 1.2.0''' live (bot 0.7.2), standaard uit, met knopbericht en Cover maken; plugin [[Corebot Radio]]; instellingen per server op corebot.info
|-
| '''Code''' || repo Die0uwe/SBwebui: <code>tools/muziekserver</code>, <code>tools/discord-bot/plugins/zing</code>; ontwerp <code>docs/architectuur/muziekgeneratie.md</code> (ADR-030)
|}
|}


== Hoe het gaat werken ==
== Hoe het werkt ==
<pre>
<pre>
SBWebUI (Strato) --https--> muziek.scriptspace.nl (tunnel, sleutel) --> muziekserver (pc) --> ACE-Step 1.5 (videokaart)
SBWebUI (Strato) --https--> muziek.scriptspace.nl (tunnel, sleutel) --> muziekserver (pc) --> ACE-Step 1.5 (videokaart)
CoreBot (pc) ----------------------------------------------------------> muziekserver (pc) --> ACE-Step 1.5
</pre>
</pre>
# Je typt een idee. De assistent '''SunoCat''' maakt er een stijlomschrijving (Engels) en een songtekst van (met [Verse] en [Chorus]).
# Je vertelt waar het liedje over gaat. '''SunoCat''' schrijft een titel, een stijl (Engels: genre, instrumenten, stem, sfeer, tempo) en een songtekst met [Verse] en [Chorus].
# In de chat verschijnt een '''muziekkaart''': stijl, tekst (aan te passen), duur en de knop '''🎵 Maak muziek'''.
# In SBWebUI verschijnt een '''muziekkaart''': alles aan te passen (titel, stijl, tekst, taal, duur, kwaliteit, BPM, instrumentaal) en de knop '''🎵 Maak nummer'''. In Discord gaat het in één keer.
# De muziekserver zet de opdracht in de wachtrij, maakt het nummer en levert een MP3. SBWebUI bewaart het zelf; je krijgt een speler met Download, Opnieuw en Variatie.
# De muziekserver controleert de tekst, zet de opdracht in de wachtrij, wacht op de videokaart, zet Fooocus even uit, haalt Ollama uit het geheugen en start ACE-Step als die nog niet draait.
# '''Mijn muziek''': privé, via link of openbaar; later een deelpagina. Rechten zoals bij beelden: per rol of per lid, daglimiet, tegoed.
# Na 1 tot 3 minuten is er een MP3. SBWebUI bewaart hem zelf ('''Mijn muziek'''); CoreBot zet hem als bijlage in het kanaal.


== Belangrijke keuzes ==
== Snelheid en geheugen (gemeten 19-10-2026, RTX 4060 8 GB) ==
* '''Eerst een taak, dan het resultaat''': het nummer duurt tientallen seconden; SBWebUI op Strato kan niet zo lang wachten op één antwoord.
{| class="wikitable"
* '''Eén wachtrij voor de videokaart''': muziek en beelden nooit tegelijk (8 GB), Ollama wordt eerst vrijgegeven.
! Proef !! Tijd !! Videogeheugen
* '''Geen Docker voor de videokaart''': een gewone Python-omgeving, zoals de beeldserver (stabieler op Windows).
|-
* '''Externe cloud-GPU''' (bijv. Replicate): pas later, standaard uit en alleen door de beheerder aan te zetten. Nooit automatisch, vanwege kosten en privacy.
| 30 s, Nederlands || 48 s || 7,7 GB
* '''Veilig en eerlijk''': geen "in de stijl van <artiest>", geen stem nadoen, label "Gemaakt met AI", moderatie in het [[Controlepaneel]].
|-
| 2 min, Engels || 168 s (inclusief modellen laden) || 6,8 GB
|-
| 30 s via SBWebUI (met Fooocus uit en ACE-Step opstarten) || ±2 min ||
|-
| /zing 30 s (SunoCat + muziek) || 77 s ||
|}
* ACE-Step moet alle modellen na hun stap uit het videogeheugen halen (<code>ACESTEP_OFFLOAD_TO_CPU</code>, <code>_LM_</code>, <code>_DIT_</code>); anders maakt hij het geluid op de processor en duurt 2 minuten muziek meer dan 20 minuten.
* Muziek gebruikt bijna de hele kaart: '''nooit tegelijk met Fooocus'''. Beide servers delen één GPU-slot (<code>gpu_slot.py</code>, <code>C:\SERVERS\DIEOUWE-AI\gpu-slot.json</code>).
* ACE-Step stopt na 5 minuten zonder werk (werkgeheugen vrij). Stond Fooocus eerst aan, dan zet de muziekserver hem daarna weer aan. De beeldserver (0.1.6) start Fooocus ook zelf als hij uit staat.
* Nederlands zingen werkt; het oordeel over de kwaliteit ligt bij Ouwe.
 
== Veiligheid ==
* Altijd geweigerd: haat, oproepen tot geweld, en alles met kinderen of jongeren in een seksuele context.
* Expliciete seksuele teksten: geweigerd (er is geen 18+ voor muziek in SBWebUI, en CoreBot vraagt het nooit aan).
* SunoCat schrijft altijd nieuwe teksten (geen bestaande songteksten, geen "in de stijl van" een echte artiest).
* Elk nummer krijgt het label "Gemaakt met AI".
 
== Opslag en moderatie ==
* SBWebUI-nummers staan op Strato (<code>storage/muziek</code>, afgeschermd), de gegevens in de tabel <code>tracks</code>. Delen: privé, via een geheime link of openbaar (Sound Lib); elk gedeeld nummer heeft een deelpagina met speler (<code>nummer.php</code>, 0.9.28).
* Discord-nummers staan in Discord. Wie op SBWebUI met Discord inlogt, kan ze ophalen in ''Mijn muziek''.
* Op de pc houdt de muziekserver een '''logboek''' bij (ook geweigerde opdrachten: wie, waar, stijl, tekst) en een '''archief''' van 90 dagen. Te zien in het [[Controlepaneel]] › Muziek › ''Muziekopdrachten'', met speler en een knop om de archiefmap te openen.
 
== Instellen ==
* '''SBWebUI''': Beheer › AI-verbindingen › Muziekmaker: aan, <code>https://muziek.scriptspace.nl</code>, sleutel (<code>kopieer-sleutel.bat</code> in de map muziekserver), wie mag, nummers per dag. Per lid bij Gebruikers. Assistent '''SunoCat''' aanmaken met model <code>sunocat</code>.
* '''CoreBot''': corebot.info › Plugins › Zingen (aan, limieten, rol, kanalen). Testbot: <code>zing-test-aanzetten.bat</code>. Commando's: <code>/zing</code> en <code>/zingknop</code> (knop "Maak een liedje").
* '''Pc''': [[Controlepaneel]] › Muziek › Muziekserver op Start.


== Fasen ==
== Fasen ==
Regel 34: Regel 65:
! Fase !! Wat !! Stand
! Fase !! Wat !! Stand
|-
|-
| 0 || Proef: ACE-Step 1.5 installeren en meten (videogeheugen naast Fooocus en Ollama, tijd voor 30 s en 2 min, Nederlands en Engels zingen) || akkoord 18-10
| 0 || Proef: installeren en meten || klaar 19-10
|-
| 1 || Muziekserver, gedeelde GPU-wachtrij, MP3, tunnel, paneel || klaar 19-10
|-
| 2 || SBWebUI Muziekmaker: muziekkaart, Mijn muziek, delen via link, rechten per lid, SunoCat || klaar 19-10 (0.9.24)
|-
| 3 || CoreBot /zing, knopbericht op vaste tijden, corebot.info || live (bot 0.7.2)
|-
| 3b || Eigen stijlen, openbaar, Galerij › Muziek, muziekblokken (SBWebUI 0.9.27) || klaar 19-10
|-
|-
| 1 || Muziekserver, gedeelde wachtrij met de beeldserver, MP3, tunnel <code>muziek.scriptspace.nl</code>, kaart in het controlepaneel || wacht op fase 0
| 3c || Sound Lib, deelpagina, hitlijst, [[Corebot Radio]] met keuren en zenders || live (0.9.64)
|-
|-
| 2 || SBWebUI Muziekmaker: SunoCat, muziekkaart, speler, Mijn muziek, rechten || wacht
| gepland || '''Eigen stem:''' proef met Demucs en RVC (Applio), alleen voor admin en mods. Bestaat nog niet; verder alleen als de proef goed klinkt || proef
|-
|-
| 3 || Delen, CoreBot <code>/zing</code>, eventueel externe cloud || later
| later || Opnieuw/Variatie in SBWebUI, bewerken (cover, repaint, verlengen), tegoed, externe cloud (standaard uit) || idee
|}
|}


== Open vragen voor de proef ==
[[Categorie:AI]] [[Categorie:Project]]
* Hoeveel videogeheugen echt (het project zegt minder dan 4 GB, andere bronnen 8 GB)?
* Hoe snel op de 4060?
* Hoe klinkt Nederlands gezongen? Anders Engelse teksten met Nederlandse uitleg.
 
[[Categorie:AI]] [[Categorie:Plan]]
 

Huidige versie van 2 nov 2026 02:35

Muziekgeneratie (Muziekmaker en /zing)

[bewerken]

Muziek maken met de eigen AI, op de eigen pc: in SBWebUI (de Muziekmaker) en in Discord met CoreBot (/zing). Zelfde opbouw als de Beeldmaker. Geen clouddienst. Stand: 1-11-2026, live in SBWebUI en CoreBot.

Model ACE-Step 1.5 (open source, MIT; gegenereerde muziek mag ook commercieel gebruikt worden), turbo-model + taalmodel 0.6B
Muziekserver 0.1.2 op de pc (poort 8789, map D:\DIEOUWE-AI\muziekserver), van buiten via muziek.scriptspace.nl (alleen met sleutel)
Songschrijver Ollama-model sunocat (Modelfile in muziekserver\sunocat, op basis van qwen3:4b-instruct, net als owlai)
SBWebUI Muziekmaker vanaf 0.9.24, nu 0.9.64 (eigen MP3 en covers sinds 0.9.55, hitlijst en radio sinds 0.9.62, eigen stijlen, openbaar, Galerij › Muziek, muziekblokken, Core AI stuurt door naar SunoCat)
CoreBot plugin Zingen 1.2.0 live (bot 0.7.2), standaard uit, met knopbericht en Cover maken; plugin Corebot Radio; instellingen per server op corebot.info
Code repo Die0uwe/SBwebui: tools/muziekserver, tools/discord-bot/plugins/zing; ontwerp docs/architectuur/muziekgeneratie.md (ADR-030)

Hoe het werkt

[bewerken]
SBWebUI (Strato) --https--> muziek.scriptspace.nl (tunnel, sleutel) --> muziekserver (pc) --> ACE-Step 1.5 (videokaart)
CoreBot (pc) ----------------------------------------------------------> muziekserver (pc) --> ACE-Step 1.5
  1. Je vertelt waar het liedje over gaat. SunoCat schrijft een titel, een stijl (Engels: genre, instrumenten, stem, sfeer, tempo) en een songtekst met [Verse] en [Chorus].
  2. In SBWebUI verschijnt een muziekkaart: alles aan te passen (titel, stijl, tekst, taal, duur, kwaliteit, BPM, instrumentaal) en de knop 🎵 Maak nummer. In Discord gaat het in één keer.
  3. De muziekserver controleert de tekst, zet de opdracht in de wachtrij, wacht op de videokaart, zet Fooocus even uit, haalt Ollama uit het geheugen en start ACE-Step als die nog niet draait.
  4. Na 1 tot 3 minuten is er een MP3. SBWebUI bewaart hem zelf (Mijn muziek); CoreBot zet hem als bijlage in het kanaal.

Snelheid en geheugen (gemeten 19-10-2026, RTX 4060 8 GB)

[bewerken]
Proef Tijd Videogeheugen
30 s, Nederlands 48 s 7,7 GB
2 min, Engels 168 s (inclusief modellen laden) 6,8 GB
30 s via SBWebUI (met Fooocus uit en ACE-Step opstarten) ±2 min
/zing 30 s (SunoCat + muziek) 77 s
  • ACE-Step moet alle modellen na hun stap uit het videogeheugen halen (ACESTEP_OFFLOAD_TO_CPU, _LM_, _DIT_); anders maakt hij het geluid op de processor en duurt 2 minuten muziek meer dan 20 minuten.
  • Muziek gebruikt bijna de hele kaart: nooit tegelijk met Fooocus. Beide servers delen één GPU-slot (gpu_slot.py, C:\SERVERS\DIEOUWE-AI\gpu-slot.json).
  • ACE-Step stopt na 5 minuten zonder werk (werkgeheugen vrij). Stond Fooocus eerst aan, dan zet de muziekserver hem daarna weer aan. De beeldserver (0.1.6) start Fooocus ook zelf als hij uit staat.
  • Nederlands zingen werkt; het oordeel over de kwaliteit ligt bij Ouwe.

Veiligheid

[bewerken]
  • Altijd geweigerd: haat, oproepen tot geweld, en alles met kinderen of jongeren in een seksuele context.
  • Expliciete seksuele teksten: geweigerd (er is geen 18+ voor muziek in SBWebUI, en CoreBot vraagt het nooit aan).
  • SunoCat schrijft altijd nieuwe teksten (geen bestaande songteksten, geen "in de stijl van" een echte artiest).
  • Elk nummer krijgt het label "Gemaakt met AI".

Opslag en moderatie

[bewerken]
  • SBWebUI-nummers staan op Strato (storage/muziek, afgeschermd), de gegevens in de tabel tracks. Delen: privé, via een geheime link of openbaar (Sound Lib); elk gedeeld nummer heeft een deelpagina met speler (nummer.php, 0.9.28).
  • Discord-nummers staan in Discord. Wie op SBWebUI met Discord inlogt, kan ze ophalen in Mijn muziek.
  • Op de pc houdt de muziekserver een logboek bij (ook geweigerde opdrachten: wie, waar, stijl, tekst) en een archief van 90 dagen. Te zien in het Controlepaneel › Muziek › Muziekopdrachten, met speler en een knop om de archiefmap te openen.

Instellen

[bewerken]
  • SBWebUI: Beheer › AI-verbindingen › Muziekmaker: aan, https://muziek.scriptspace.nl, sleutel (kopieer-sleutel.bat in de map muziekserver), wie mag, nummers per dag. Per lid bij Gebruikers. Assistent SunoCat aanmaken met model sunocat.
  • CoreBot: corebot.info › Plugins › Zingen (aan, limieten, rol, kanalen). Testbot: zing-test-aanzetten.bat. Commando's: /zing en /zingknop (knop "Maak een liedje").
  • Pc: Controlepaneel › Muziek › Muziekserver op Start.

Fasen

[bewerken]
Fase Wat Stand
0 Proef: installeren en meten klaar 19-10
1 Muziekserver, gedeelde GPU-wachtrij, MP3, tunnel, paneel klaar 19-10
2 SBWebUI Muziekmaker: muziekkaart, Mijn muziek, delen via link, rechten per lid, SunoCat klaar 19-10 (0.9.24)
3 CoreBot /zing, knopbericht op vaste tijden, corebot.info live (bot 0.7.2)
3b Eigen stijlen, openbaar, Galerij › Muziek, muziekblokken (SBWebUI 0.9.27) klaar 19-10
3c Sound Lib, deelpagina, hitlijst, Corebot Radio met keuren en zenders live (0.9.64)
gepland Eigen stem: proef met Demucs en RVC (Applio), alleen voor admin en mods. Bestaat nog niet; verder alleen als de proef goed klinkt proef
later Opnieuw/Variatie in SBWebUI, bewerken (cover, repaint, verlengen), tegoed, externe cloud (standaard uit) idee