Naar inhoud springen

Muziekgeneratie: verschil tussen versies

Uit Scriptspace Wiki
k 1 versie geïmporteerd
Bijgewerkt vanaf de pc van DieOuwe (wiki-docs)
Regel 1: Regel 1:
{{Navigatie}}
{{Navigatie}}
= Muziekgeneratie (plan) =
= Muziekgeneratie (Muziekmaker en /zing) =
Muziek maken met de eigen AI op de eigen pc, bediend vanuit [[SBWebUI]] (de '''Muziekmaker''') en later Discord. Zelfde opbouw als de [[Fooocus beeldgeneratie|Beeldmaker]].
Muziek maken met de eigen AI, op de eigen pc: in [[SBWebUI]] (de '''Muziekmaker''') en in Discord met [[CoreBot]] ('''/zing''').
''Status: voorstel; fase 0 (proef) akkoord op 18-10-2026. Nog niets gebouwd.''
Zelfde opbouw als de [[Fooocus beeldgeneratie|Beeldmaker]]. Geen clouddienst. ''Stand: 19-10-2026, gebouwd (fasen 0 t/m 2 en /zing).''


{| class="wikitable"
{| class="wikitable"
| '''Model''' || ACE-Step 1.5 (open source, MIT-licentie; gegenereerde muziek mag ook commercieel gebruikt worden)
| '''Model''' || ACE-Step 1.5 (open source, MIT; gegenereerde muziek mag ook commercieel gebruikt worden), turbo-model + taalmodel 0.6B
|-
|-
| '''Waar''' || de pc (RTX 4060, 8 GB), map <code>muziekserver</code>
| '''Muziekserver''' || 0.1.0 op de pc (poort 8789, map <code>D:\DIEOUWE-AI\muziekserver</code>), van buiten via '''muziek.scriptspace.nl''' (alleen met sleutel)
|-
|-
| '''Van buiten''' || via de Cloudflare-tunnel: <code>muziek.scriptspace.nl</code> (alleen met sleutel), net als img, tts en ollama
| '''Songschrijver''' || Ollama-model '''sunocat''' (Modelfile in <code>muziekserver\sunocat</code>, op basis van qwen3:4b-instruct, net als owlai)
|-
|-
| '''Ontwerp''' || repo Die0uwe/SBwebui: <code>docs/architectuur/muziekgeneratie.md</code>, besluit ADR-030
| '''SBWebUI''' || Muziekmaker vanaf '''0.9.24''', nu '''0.9.27''' (eigen stijlen, openbaar, Galerij › Muziek, muziekblokken, Core AI stuurt door naar SunoCat)
|-
| '''CoreBot''' || plugin '''Zingen 1.1.0''' in de testbot (bot 0.7.2, met knopbericht op vaste tijden), nog niet live; instellingen per server op corebot.info 0.5.2
|-
| '''Code''' || repo Die0uwe/SBwebui: <code>tools/muziekserver</code>, <code>tools/discord-bot/plugins/zing</code>; ontwerp <code>docs/architectuur/muziekgeneratie.md</code> (ADR-030)
|}
|}


== Hoe het gaat werken ==
== Hoe het werkt ==
<pre>
<pre>
SBWebUI (Strato) --https--> muziek.scriptspace.nl (tunnel, sleutel) --> muziekserver (pc) --> ACE-Step 1.5 (videokaart)
SBWebUI (Strato) --https--> muziek.scriptspace.nl (tunnel, sleutel) --> muziekserver (pc) --> ACE-Step 1.5 (videokaart)
CoreBot (pc) ----------------------------------------------------------> muziekserver (pc) --> ACE-Step 1.5
</pre>
</pre>
# Je typt een idee. De assistent '''SunoCat''' maakt er een stijlomschrijving (Engels) en een songtekst van (met [Verse] en [Chorus]).
# Je vertelt waar het liedje over gaat. '''SunoCat''' schrijft een titel, een stijl (Engels: genre, instrumenten, stem, sfeer, tempo) en een songtekst met [Verse] en [Chorus].
# In de chat verschijnt een '''muziekkaart''': stijl, tekst (aan te passen), duur en de knop '''🎵 Maak muziek'''.
# In SBWebUI verschijnt een '''muziekkaart''': alles aan te passen (titel, stijl, tekst, taal, duur, kwaliteit, BPM, instrumentaal) en de knop '''🎵 Maak nummer'''. In Discord gaat het in één keer.
# De muziekserver zet de opdracht in de wachtrij, maakt het nummer en levert een MP3. SBWebUI bewaart het zelf; je krijgt een speler met Download, Opnieuw en Variatie.
# De muziekserver controleert de tekst, zet de opdracht in de wachtrij, wacht op de videokaart, zet Fooocus even uit, haalt Ollama uit het geheugen en start ACE-Step als die nog niet draait.
# '''Mijn muziek''': privé, via link of openbaar; later een deelpagina. Rechten zoals bij beelden: per rol of per lid, daglimiet, tegoed.
# Na 1 tot 3 minuten is er een MP3. SBWebUI bewaart hem zelf ('''Mijn muziek'''); CoreBot zet hem als bijlage in het kanaal.


== Belangrijke keuzes ==
== Snelheid en geheugen (gemeten 19-10-2026, RTX 4060 8 GB) ==
* '''Eerst een taak, dan het resultaat''': het nummer duurt tientallen seconden; SBWebUI op Strato kan niet zo lang wachten op één antwoord.
{| class="wikitable"
* '''Eén wachtrij voor de videokaart''': muziek en beelden nooit tegelijk (8 GB), Ollama wordt eerst vrijgegeven.
! Proef !! Tijd !! Videogeheugen
* '''Geen Docker voor de videokaart''': een gewone Python-omgeving, zoals de beeldserver (stabieler op Windows).
|-
* '''Externe cloud-GPU''' (bijv. Replicate): pas later, standaard uit en alleen door de beheerder aan te zetten. Nooit automatisch, vanwege kosten en privacy.
| 30 s, Nederlands || 48 s || 7,7 GB
* '''Veilig en eerlijk''': geen "in de stijl van <artiest>", geen stem nadoen, label "Gemaakt met AI", moderatie in het [[Controlepaneel]].
|-
| 2 min, Engels || 168 s (inclusief modellen laden) || 6,8 GB
|-
| 30 s via SBWebUI (met Fooocus uit en ACE-Step opstarten) || ±2 min ||
|-
| /zing 30 s (SunoCat + muziek) || 77 s ||
|}
* ACE-Step moet alle modellen na hun stap uit het videogeheugen halen (<code>ACESTEP_OFFLOAD_TO_CPU</code>, <code>_LM_</code>, <code>_DIT_</code>); anders maakt hij het geluid op de processor en duurt 2 minuten muziek meer dan 20 minuten.
* Muziek gebruikt bijna de hele kaart: '''nooit tegelijk met Fooocus'''. Beide servers delen één GPU-slot (<code>gpu_slot.py</code>, <code>C:\SERVERS\DIEOUWE-AI\gpu-slot.json</code>).
* ACE-Step stopt na 5 minuten zonder werk (werkgeheugen vrij). Stond Fooocus eerst aan, dan zet de muziekserver hem daarna weer aan. De beeldserver (0.1.6) start Fooocus ook zelf als hij uit staat.
* Nederlands zingen werkt; het oordeel over de kwaliteit ligt bij Ouwe.
 
== Veiligheid ==
* Altijd geweigerd: haat, oproepen tot geweld, en alles met kinderen of jongeren in een seksuele context.
* Expliciete seksuele teksten: geweigerd (er is geen 18+ voor muziek in SBWebUI, en CoreBot vraagt het nooit aan).
* SunoCat schrijft altijd nieuwe teksten (geen bestaande songteksten, geen "in de stijl van" een echte artiest).
* Elk nummer krijgt het label "Gemaakt met AI".
 
== Opslag en moderatie ==
* SBWebUI-nummers staan op Strato (<code>storage/muziek</code>, afgeschermd), de gegevens in de tabel <code>tracks</code>. Delen: privé, via een geheime link of openbaar (Sound Lib); elk gedeeld nummer heeft een deelpagina met speler (<code>nummer.php</code>, 0.9.28).
* Discord-nummers staan in Discord. Wie op SBWebUI met Discord inlogt, kan ze ophalen in ''Mijn muziek''.
* Op de pc houdt de muziekserver een '''logboek''' bij (ook geweigerde opdrachten: wie, waar, stijl, tekst) en een '''archief''' van 90 dagen. Te zien in het [[Controlepaneel]] › Muziek › ''Muziekopdrachten'', met speler en een knop om de archiefmap te openen.
 
== Instellen ==
* '''SBWebUI''': Beheer › AI-verbindingen › Muziekmaker: aan, <code>https://muziek.scriptspace.nl</code>, sleutel (<code>kopieer-sleutel.bat</code> in de map muziekserver), wie mag, nummers per dag. Per lid bij Gebruikers. Assistent '''SunoCat''' aanmaken met model <code>sunocat</code>.
* '''CoreBot''': corebot.info › Plugins › Zingen (aan, limieten, rol, kanalen). Testbot: <code>zing-test-aanzetten.bat</code>. Commando's: <code>/zing</code> en <code>/zingknop</code> (knop "Maak een liedje").
* '''Pc''': [[Controlepaneel]] › Muziek › Muziekserver op Start.


== Fasen ==
== Fasen ==
Regel 34: Regel 65:
! Fase !! Wat !! Stand
! Fase !! Wat !! Stand
|-
|-
| 0 || Proef: ACE-Step 1.5 installeren en meten (videogeheugen naast Fooocus en Ollama, tijd voor 30 s en 2 min, Nederlands en Engels zingen) || akkoord 18-10
| 0 || Proef: installeren en meten || klaar 19-10
|-
|-
| 1 || Muziekserver, gedeelde wachtrij met de beeldserver, MP3, tunnel <code>muziek.scriptspace.nl</code>, kaart in het controlepaneel || wacht op fase 0
| 1 || Muziekserver, gedeelde GPU-wachtrij, MP3, tunnel, paneel || klaar 19-10
|-
|-
| 2 || SBWebUI Muziekmaker: SunoCat, muziekkaart, speler, Mijn muziek, rechten || wacht
| 2 || SBWebUI Muziekmaker: muziekkaart, Mijn muziek, delen via link, rechten per lid, SunoCat || klaar 19-10 (0.9.24)
|-
|-
| 3 || Delen, CoreBot <code>/zing</code>, eventueel externe cloud || later
| 3 || CoreBot /zing (testbot), knopbericht op vaste tijden, corebot.info 0.5.2 || gebouwd, nog testen en live zetten
|-
| 3b || Eigen stijlen, openbaar, Galerij › Muziek, muziekblokken (SBWebUI 0.9.27) || klaar 19-10
|-
| later || Deelpagina met speler (zoals beeld.php), openbare muziek in de galerij, Opnieuw/Variatie in SBWebUI, tegoed, externe cloud (standaard uit) || idee
|}
|}


== Open vragen voor de proef ==
[[Categorie:AI]] [[Categorie:Project]]
* Hoeveel videogeheugen echt (het project zegt minder dan 4 GB, andere bronnen 8 GB)?
* Hoe snel op de 4060?
* Hoe klinkt Nederlands gezongen? Anders Engelse teksten met Nederlandse uitleg.
 
[[Categorie:AI]] [[Categorie:Plan]]
 

Versie van 19 okt 2026 23:28

Muziekgeneratie (Muziekmaker en /zing)

Muziek maken met de eigen AI, op de eigen pc: in SBWebUI (de Muziekmaker) en in Discord met CoreBot (/zing). Zelfde opbouw als de Beeldmaker. Geen clouddienst. Stand: 19-10-2026, gebouwd (fasen 0 t/m 2 en /zing).

Model ACE-Step 1.5 (open source, MIT; gegenereerde muziek mag ook commercieel gebruikt worden), turbo-model + taalmodel 0.6B
Muziekserver 0.1.0 op de pc (poort 8789, map D:\DIEOUWE-AI\muziekserver), van buiten via muziek.scriptspace.nl (alleen met sleutel)
Songschrijver Ollama-model sunocat (Modelfile in muziekserver\sunocat, op basis van qwen3:4b-instruct, net als owlai)
SBWebUI Muziekmaker vanaf 0.9.24, nu 0.9.27 (eigen stijlen, openbaar, Galerij › Muziek, muziekblokken, Core AI stuurt door naar SunoCat)
CoreBot plugin Zingen 1.1.0 in de testbot (bot 0.7.2, met knopbericht op vaste tijden), nog niet live; instellingen per server op corebot.info 0.5.2
Code repo Die0uwe/SBwebui: tools/muziekserver, tools/discord-bot/plugins/zing; ontwerp docs/architectuur/muziekgeneratie.md (ADR-030)

Hoe het werkt

SBWebUI (Strato) --https--> muziek.scriptspace.nl (tunnel, sleutel) --> muziekserver (pc) --> ACE-Step 1.5 (videokaart)
CoreBot (pc) ----------------------------------------------------------> muziekserver (pc) --> ACE-Step 1.5
  1. Je vertelt waar het liedje over gaat. SunoCat schrijft een titel, een stijl (Engels: genre, instrumenten, stem, sfeer, tempo) en een songtekst met [Verse] en [Chorus].
  2. In SBWebUI verschijnt een muziekkaart: alles aan te passen (titel, stijl, tekst, taal, duur, kwaliteit, BPM, instrumentaal) en de knop 🎵 Maak nummer. In Discord gaat het in één keer.
  3. De muziekserver controleert de tekst, zet de opdracht in de wachtrij, wacht op de videokaart, zet Fooocus even uit, haalt Ollama uit het geheugen en start ACE-Step als die nog niet draait.
  4. Na 1 tot 3 minuten is er een MP3. SBWebUI bewaart hem zelf (Mijn muziek); CoreBot zet hem als bijlage in het kanaal.

Snelheid en geheugen (gemeten 19-10-2026, RTX 4060 8 GB)

Proef Tijd Videogeheugen
30 s, Nederlands 48 s 7,7 GB
2 min, Engels 168 s (inclusief modellen laden) 6,8 GB
30 s via SBWebUI (met Fooocus uit en ACE-Step opstarten) ±2 min
/zing 30 s (SunoCat + muziek) 77 s
  • ACE-Step moet alle modellen na hun stap uit het videogeheugen halen (ACESTEP_OFFLOAD_TO_CPU, _LM_, _DIT_); anders maakt hij het geluid op de processor en duurt 2 minuten muziek meer dan 20 minuten.
  • Muziek gebruikt bijna de hele kaart: nooit tegelijk met Fooocus. Beide servers delen één GPU-slot (gpu_slot.py, C:\SERVERS\DIEOUWE-AI\gpu-slot.json).
  • ACE-Step stopt na 5 minuten zonder werk (werkgeheugen vrij). Stond Fooocus eerst aan, dan zet de muziekserver hem daarna weer aan. De beeldserver (0.1.6) start Fooocus ook zelf als hij uit staat.
  • Nederlands zingen werkt; het oordeel over de kwaliteit ligt bij Ouwe.

Veiligheid

  • Altijd geweigerd: haat, oproepen tot geweld, en alles met kinderen of jongeren in een seksuele context.
  • Expliciete seksuele teksten: geweigerd (er is geen 18+ voor muziek in SBWebUI, en CoreBot vraagt het nooit aan).
  • SunoCat schrijft altijd nieuwe teksten (geen bestaande songteksten, geen "in de stijl van" een echte artiest).
  • Elk nummer krijgt het label "Gemaakt met AI".

Opslag en moderatie

  • SBWebUI-nummers staan op Strato (storage/muziek, afgeschermd), de gegevens in de tabel tracks. Delen: privé, via een geheime link of openbaar (Sound Lib); elk gedeeld nummer heeft een deelpagina met speler (nummer.php, 0.9.28).
  • Discord-nummers staan in Discord. Wie op SBWebUI met Discord inlogt, kan ze ophalen in Mijn muziek.
  • Op de pc houdt de muziekserver een logboek bij (ook geweigerde opdrachten: wie, waar, stijl, tekst) en een archief van 90 dagen. Te zien in het Controlepaneel › Muziek › Muziekopdrachten, met speler en een knop om de archiefmap te openen.

Instellen

  • SBWebUI: Beheer › AI-verbindingen › Muziekmaker: aan, https://muziek.scriptspace.nl, sleutel (kopieer-sleutel.bat in de map muziekserver), wie mag, nummers per dag. Per lid bij Gebruikers. Assistent SunoCat aanmaken met model sunocat.
  • CoreBot: corebot.info › Plugins › Zingen (aan, limieten, rol, kanalen). Testbot: zing-test-aanzetten.bat. Commando's: /zing en /zingknop (knop "Maak een liedje").
  • Pc: Controlepaneel › Muziek › Muziekserver op Start.

Fasen

Fase Wat Stand
0 Proef: installeren en meten klaar 19-10
1 Muziekserver, gedeelde GPU-wachtrij, MP3, tunnel, paneel klaar 19-10
2 SBWebUI Muziekmaker: muziekkaart, Mijn muziek, delen via link, rechten per lid, SunoCat klaar 19-10 (0.9.24)
3 CoreBot /zing (testbot), knopbericht op vaste tijden, corebot.info 0.5.2 gebouwd, nog testen en live zetten
3b Eigen stijlen, openbaar, Galerij › Muziek, muziekblokken (SBWebUI 0.9.27) klaar 19-10
later Deelpagina met speler (zoals beeld.php), openbare muziek in de galerij, Opnieuw/Variatie in SBWebUI, tegoed, externe cloud (standaard uit) idee