Muziekgeneratie: verschil tussen versies
docs>wiki-docs Geïmporteerd vanaf de pc van DieOuwe (wiki-docs) |
Bijgewerkt vanaf de pc van DieOuwe (wiki-docs) |
||
| (6 tussenliggende versies door 2 gebruikers niet weergegeven) | |||
| Regel 1: | Regel 1: | ||
{{Navigatie}} | {{Navigatie}} | ||
= Muziekgeneratie ( | = Muziekgeneratie (Muziekmaker en /zing) = | ||
Muziek maken met de eigen AI op de eigen pc | Muziek maken met de eigen AI, op de eigen pc: in [[SBWebUI]] (de '''Muziekmaker''') en in Discord met [[CoreBot]] ('''/zing'''). | ||
'' | Zelfde opbouw als de [[Fooocus beeldgeneratie|Beeldmaker]]. Geen clouddienst. ''Stand: 1-11-2026, live in SBWebUI en CoreBot.'' | ||
{| class="wikitable" | {| class="wikitable" | ||
| '''Model''' || ACE-Step 1.5 (open source, MIT | | '''Model''' || ACE-Step 1.5 (open source, MIT; gegenereerde muziek mag ook commercieel gebruikt worden), turbo-model + taalmodel 0.6B | ||
|- | |- | ||
| ''' | | '''Muziekserver''' || 0.1.2 op de pc (poort 8789, map <code>D:\DIEOUWE-AI\muziekserver</code>), van buiten via '''muziek.scriptspace.nl''' (alleen met sleutel) | ||
|- | |- | ||
| ''' | | '''Songschrijver''' || Ollama-model '''sunocat''' (Modelfile in <code>muziekserver\sunocat</code>, op basis van qwen3:4b-instruct, net als owlai) | ||
|- | |- | ||
| ''' | | '''SBWebUI''' || Muziekmaker vanaf '''0.9.24''', nu '''0.9.64''' (eigen MP3 en covers sinds 0.9.55, hitlijst en [[Corebot Radio|radio]] sinds 0.9.62, eigen stijlen, openbaar, Galerij › Muziek, muziekblokken, Core AI stuurt door naar SunoCat) | ||
|- | |||
| '''CoreBot''' || plugin '''Zingen 1.2.0''' live (bot 0.7.2), standaard uit, met knopbericht en Cover maken; plugin [[Corebot Radio]]; instellingen per server op corebot.info | |||
|- | |||
| '''Code''' || repo Die0uwe/SBwebui: <code>tools/muziekserver</code>, <code>tools/discord-bot/plugins/zing</code>; ontwerp <code>docs/architectuur/muziekgeneratie.md</code> (ADR-030) | |||
|} | |} | ||
== Hoe het | == Hoe het werkt == | ||
<pre> | <pre> | ||
SBWebUI (Strato) --https--> muziek.scriptspace.nl (tunnel, sleutel) --> muziekserver (pc) --> ACE-Step 1.5 (videokaart) | SBWebUI (Strato) --https--> muziek.scriptspace.nl (tunnel, sleutel) --> muziekserver (pc) --> ACE-Step 1.5 (videokaart) | ||
CoreBot (pc) ----------------------------------------------------------> muziekserver (pc) --> ACE-Step 1.5 | |||
</pre> | </pre> | ||
# Je | # Je vertelt waar het liedje over gaat. '''SunoCat''' schrijft een titel, een stijl (Engels: genre, instrumenten, stem, sfeer, tempo) en een songtekst met [Verse] en [Chorus]. | ||
# In | # In SBWebUI verschijnt een '''muziekkaart''': alles aan te passen (titel, stijl, tekst, taal, duur, kwaliteit, BPM, instrumentaal) en de knop '''🎵 Maak nummer'''. In Discord gaat het in één keer. | ||
# De muziekserver zet de opdracht in de wachtrij, | # De muziekserver controleert de tekst, zet de opdracht in de wachtrij, wacht op de videokaart, zet Fooocus even uit, haalt Ollama uit het geheugen en start ACE-Step als die nog niet draait. | ||
# Na 1 tot 3 minuten is er een MP3. SBWebUI bewaart hem zelf ('''Mijn muziek'''); CoreBot zet hem als bijlage in het kanaal. | |||
== | == Snelheid en geheugen (gemeten 19-10-2026, RTX 4060 8 GB) == | ||
* ''' | {| class="wikitable" | ||
* ''' | ! Proef !! Tijd !! Videogeheugen | ||
* ''' | |- | ||
* ''' | | 30 s, Nederlands || 48 s || 7,7 GB | ||
* ''' | |- | ||
| 2 min, Engels || 168 s (inclusief modellen laden) || 6,8 GB | |||
|- | |||
| 30 s via SBWebUI (met Fooocus uit en ACE-Step opstarten) || ±2 min || | |||
|- | |||
| /zing 30 s (SunoCat + muziek) || 77 s || | |||
|} | |||
* ACE-Step moet alle modellen na hun stap uit het videogeheugen halen (<code>ACESTEP_OFFLOAD_TO_CPU</code>, <code>_LM_</code>, <code>_DIT_</code>); anders maakt hij het geluid op de processor en duurt 2 minuten muziek meer dan 20 minuten. | |||
* Muziek gebruikt bijna de hele kaart: '''nooit tegelijk met Fooocus'''. Beide servers delen één GPU-slot (<code>gpu_slot.py</code>, <code>C:\SERVERS\DIEOUWE-AI\gpu-slot.json</code>). | |||
* ACE-Step stopt na 5 minuten zonder werk (werkgeheugen vrij). Stond Fooocus eerst aan, dan zet de muziekserver hem daarna weer aan. De beeldserver (0.1.6) start Fooocus ook zelf als hij uit staat. | |||
* Nederlands zingen werkt; het oordeel over de kwaliteit ligt bij Ouwe. | |||
== Veiligheid == | |||
* Altijd geweigerd: haat, oproepen tot geweld, en alles met kinderen of jongeren in een seksuele context. | |||
* Expliciete seksuele teksten: geweigerd (er is geen 18+ voor muziek in SBWebUI, en CoreBot vraagt het nooit aan). | |||
* SunoCat schrijft altijd nieuwe teksten (geen bestaande songteksten, geen "in de stijl van" een echte artiest). | |||
* Elk nummer krijgt het label "Gemaakt met AI". | |||
== Opslag en moderatie == | |||
* SBWebUI-nummers staan op Strato (<code>storage/muziek</code>, afgeschermd), de gegevens in de tabel <code>tracks</code>. Delen: privé, via een geheime link of openbaar (Sound Lib); elk gedeeld nummer heeft een deelpagina met speler (<code>nummer.php</code>, 0.9.28). | |||
* Discord-nummers staan in Discord. Wie op SBWebUI met Discord inlogt, kan ze ophalen in ''Mijn muziek''. | |||
* Op de pc houdt de muziekserver een '''logboek''' bij (ook geweigerde opdrachten: wie, waar, stijl, tekst) en een '''archief''' van 90 dagen. Te zien in het [[Controlepaneel]] › Muziek › ''Muziekopdrachten'', met speler en een knop om de archiefmap te openen. | |||
== Instellen == | |||
* '''SBWebUI''': Beheer › AI-verbindingen › Muziekmaker: aan, <code>https://muziek.scriptspace.nl</code>, sleutel (<code>kopieer-sleutel.bat</code> in de map muziekserver), wie mag, nummers per dag. Per lid bij Gebruikers. Assistent '''SunoCat''' aanmaken met model <code>sunocat</code>. | |||
* '''CoreBot''': corebot.info › Plugins › Zingen (aan, limieten, rol, kanalen). Testbot: <code>zing-test-aanzetten.bat</code>. Commando's: <code>/zing</code> en <code>/zingknop</code> (knop "Maak een liedje"). | |||
* '''Pc''': [[Controlepaneel]] › Muziek › Muziekserver op Start. | |||
== Fasen == | == Fasen == | ||
| Regel 34: | Regel 65: | ||
! Fase !! Wat !! Stand | ! Fase !! Wat !! Stand | ||
|- | |- | ||
| 0 || Proef: | | 0 || Proef: installeren en meten || klaar 19-10 | ||
|- | |||
| 1 || Muziekserver, gedeelde GPU-wachtrij, MP3, tunnel, paneel || klaar 19-10 | |||
|- | |||
| 2 || SBWebUI Muziekmaker: muziekkaart, Mijn muziek, delen via link, rechten per lid, SunoCat || klaar 19-10 (0.9.24) | |||
|- | |||
| 3 || CoreBot /zing, knopbericht op vaste tijden, corebot.info || live (bot 0.7.2) | |||
|- | |||
| 3b || Eigen stijlen, openbaar, Galerij › Muziek, muziekblokken (SBWebUI 0.9.27) || klaar 19-10 | |||
|- | |- | ||
| | | 3c || Sound Lib, deelpagina, hitlijst, [[Corebot Radio]] met keuren en zenders || live (0.9.64) | ||
|- | |- | ||
| | | gepland || '''Eigen stem:''' proef met Demucs en RVC (Applio), alleen voor admin en mods. Bestaat nog niet; verder alleen als de proef goed klinkt || proef | ||
|- | |- | ||
| | | later || Opnieuw/Variatie in SBWebUI, bewerken (cover, repaint, verlengen), tegoed, externe cloud (standaard uit) || idee | ||
|} | |} | ||
[[Categorie:AI]] [[Categorie:Project]] | |||
[[Categorie:AI]] [[Categorie: | |||
Huidige versie van 2 nov 2026 02:35
DieOuwe-ecosysteem: Hoofdpagina · Ecosysteem overzicht · Websites en adressen · Infrastructuur · Controlepaneel · Werkwijze · Roadmap en taken
AI: SBWebUI · Open WebUI en Ollama · Stemserver · SearXNG · Beeldgeneratie · Muziekgeneratie
Discord: CoreBot · CoreBot/Plugins · CoreBot/Plugin maken · Corebot Radio · CoreBot-site · Testomgeving
Websites en CMS: ScriptSpace CMS · Blueprint CMS · Websites (WordPress) · FastTrack Soundtracker · Aprende Papiamentu
WoW: WoW-addons en CurseBot · DieOuweUI · NodeHound
Tools en apps: SBserv · PanicRoom · SpotFam · Project Brain
Muziekgeneratie (Muziekmaker en /zing)
[bewerken]Muziek maken met de eigen AI, op de eigen pc: in SBWebUI (de Muziekmaker) en in Discord met CoreBot (/zing). Zelfde opbouw als de Beeldmaker. Geen clouddienst. Stand: 1-11-2026, live in SBWebUI en CoreBot.
| Model | ACE-Step 1.5 (open source, MIT; gegenereerde muziek mag ook commercieel gebruikt worden), turbo-model + taalmodel 0.6B |
| Muziekserver | 0.1.2 op de pc (poort 8789, map D:\DIEOUWE-AI\muziekserver), van buiten via muziek.scriptspace.nl (alleen met sleutel)
|
| Songschrijver | Ollama-model sunocat (Modelfile in muziekserver\sunocat, op basis van qwen3:4b-instruct, net als owlai)
|
| SBWebUI | Muziekmaker vanaf 0.9.24, nu 0.9.64 (eigen MP3 en covers sinds 0.9.55, hitlijst en radio sinds 0.9.62, eigen stijlen, openbaar, Galerij › Muziek, muziekblokken, Core AI stuurt door naar SunoCat) |
| CoreBot | plugin Zingen 1.2.0 live (bot 0.7.2), standaard uit, met knopbericht en Cover maken; plugin Corebot Radio; instellingen per server op corebot.info |
| Code | repo Die0uwe/SBwebui: tools/muziekserver, tools/discord-bot/plugins/zing; ontwerp docs/architectuur/muziekgeneratie.md (ADR-030)
|
Hoe het werkt
[bewerken]SBWebUI (Strato) --https--> muziek.scriptspace.nl (tunnel, sleutel) --> muziekserver (pc) --> ACE-Step 1.5 (videokaart) CoreBot (pc) ----------------------------------------------------------> muziekserver (pc) --> ACE-Step 1.5
- Je vertelt waar het liedje over gaat. SunoCat schrijft een titel, een stijl (Engels: genre, instrumenten, stem, sfeer, tempo) en een songtekst met [Verse] en [Chorus].
- In SBWebUI verschijnt een muziekkaart: alles aan te passen (titel, stijl, tekst, taal, duur, kwaliteit, BPM, instrumentaal) en de knop 🎵 Maak nummer. In Discord gaat het in één keer.
- De muziekserver controleert de tekst, zet de opdracht in de wachtrij, wacht op de videokaart, zet Fooocus even uit, haalt Ollama uit het geheugen en start ACE-Step als die nog niet draait.
- Na 1 tot 3 minuten is er een MP3. SBWebUI bewaart hem zelf (Mijn muziek); CoreBot zet hem als bijlage in het kanaal.
Snelheid en geheugen (gemeten 19-10-2026, RTX 4060 8 GB)
[bewerken]| Proef | Tijd | Videogeheugen |
|---|---|---|
| 30 s, Nederlands | 48 s | 7,7 GB |
| 2 min, Engels | 168 s (inclusief modellen laden) | 6,8 GB |
| 30 s via SBWebUI (met Fooocus uit en ACE-Step opstarten) | ±2 min | |
| /zing 30 s (SunoCat + muziek) | 77 s |
- ACE-Step moet alle modellen na hun stap uit het videogeheugen halen (
ACESTEP_OFFLOAD_TO_CPU,_LM_,_DIT_); anders maakt hij het geluid op de processor en duurt 2 minuten muziek meer dan 20 minuten. - Muziek gebruikt bijna de hele kaart: nooit tegelijk met Fooocus. Beide servers delen één GPU-slot (
gpu_slot.py,C:\SERVERS\DIEOUWE-AI\gpu-slot.json). - ACE-Step stopt na 5 minuten zonder werk (werkgeheugen vrij). Stond Fooocus eerst aan, dan zet de muziekserver hem daarna weer aan. De beeldserver (0.1.6) start Fooocus ook zelf als hij uit staat.
- Nederlands zingen werkt; het oordeel over de kwaliteit ligt bij Ouwe.
Veiligheid
[bewerken]- Altijd geweigerd: haat, oproepen tot geweld, en alles met kinderen of jongeren in een seksuele context.
- Expliciete seksuele teksten: geweigerd (er is geen 18+ voor muziek in SBWebUI, en CoreBot vraagt het nooit aan).
- SunoCat schrijft altijd nieuwe teksten (geen bestaande songteksten, geen "in de stijl van" een echte artiest).
- Elk nummer krijgt het label "Gemaakt met AI".
Opslag en moderatie
[bewerken]- SBWebUI-nummers staan op Strato (
storage/muziek, afgeschermd), de gegevens in de tabeltracks. Delen: privé, via een geheime link of openbaar (Sound Lib); elk gedeeld nummer heeft een deelpagina met speler (nummer.php, 0.9.28). - Discord-nummers staan in Discord. Wie op SBWebUI met Discord inlogt, kan ze ophalen in Mijn muziek.
- Op de pc houdt de muziekserver een logboek bij (ook geweigerde opdrachten: wie, waar, stijl, tekst) en een archief van 90 dagen. Te zien in het Controlepaneel › Muziek › Muziekopdrachten, met speler en een knop om de archiefmap te openen.
Instellen
[bewerken]- SBWebUI: Beheer › AI-verbindingen › Muziekmaker: aan,
https://muziek.scriptspace.nl, sleutel (kopieer-sleutel.batin de map muziekserver), wie mag, nummers per dag. Per lid bij Gebruikers. Assistent SunoCat aanmaken met modelsunocat. - CoreBot: corebot.info › Plugins › Zingen (aan, limieten, rol, kanalen). Testbot:
zing-test-aanzetten.bat. Commando's:/zingen/zingknop(knop "Maak een liedje"). - Pc: Controlepaneel › Muziek › Muziekserver op Start.
Fasen
[bewerken]| Fase | Wat | Stand |
|---|---|---|
| 0 | Proef: installeren en meten | klaar 19-10 |
| 1 | Muziekserver, gedeelde GPU-wachtrij, MP3, tunnel, paneel | klaar 19-10 |
| 2 | SBWebUI Muziekmaker: muziekkaart, Mijn muziek, delen via link, rechten per lid, SunoCat | klaar 19-10 (0.9.24) |
| 3 | CoreBot /zing, knopbericht op vaste tijden, corebot.info | live (bot 0.7.2) |
| 3b | Eigen stijlen, openbaar, Galerij › Muziek, muziekblokken (SBWebUI 0.9.27) | klaar 19-10 |
| 3c | Sound Lib, deelpagina, hitlijst, Corebot Radio met keuren en zenders | live (0.9.64) |
| gepland | Eigen stem: proef met Demucs en RVC (Applio), alleen voor admin en mods. Bestaat nog niet; verder alleen als de proef goed klinkt | proef |
| later | Opnieuw/Variatie in SBWebUI, bewerken (cover, repaint, verlengen), tegoed, externe cloud (standaard uit) | idee |