[WIP] SoundMasterRPG — outil sonore à déclenchement vocal pour MJ

[Kira]

Bonjour à tous,

   Je viens vous présenter SoundMasterRPG, un projet que je développe autour de l'ambiance sonore en JDR.

L'idée de départ est assez simple : les sons et les ambiances peuvent apporter beaucoup à une partie, mais leur gestion peut aussi vite devenir une contrainte pour le MJ. Il faut trouver le bon son, le lancer au bon moment, changer d'ambiance… tout ça pendant qu'on essaie déjà de gérer la narration et les joueurs.

Avec SoundMasterRPG, j'essaie donc de réduire au maximum ces manipulations pendant la partie.

La particularité du projet est de pouvoir déclencher des sons ou des scènes audio directement à partir de la narration du MJ, grâce à des combinaisons de mots-clés.

 Par exemple, une phrase comme :

« Le soleil se couche… »

 peut déclencher automatiquement une ambiance nocturne.



 Ici, la phrase « le soleil se couche » a été détectée et la scène audio « Nuit (calme) » s'est déclenchée.

Le système ne cherche pas à interpréter toute la partie : chaque scène audio possède des combinaisons de mots-clés qui servent de déclencheurs.

Les scènes audio restent également déclenchables manuellement : le vocal n'est donc pas obligatoire.


Créer ses propres scènes

Le projet a progressivement évolué avec l'ajout d'un Orchestrateur.

Il permet de créer ses propres scènes, d'utiliser ses propres sons et mots-clés et de construire différents enchaînements : détecter une combinaison de mots, jouer ou arrêter un son, attendre un certain temps, sélectionner un son aléatoirement ou encore déclencher une autre scène.

Exemple d'une scène audio avec plusieurs combinaisons de mots permettant de déclencher ou d'arrêter différentes ambiances.

L'idée reste la même : préparer ce qu'on veut en amont pour avoir le moins possible à gérer une fois la partie lancée.

Où en est le projet ?

SoundMasterRPG est actuellement en bêta publique et gratuit.

Le projet continue d'évoluer et je cherche maintenant davantage de retours de MJ pour voir comment l'outil se comporte dans de vraies situations de jeu : ce qui est réellement utile, ce qui manque, mais aussi ce qui peut être trop compliqué ou contraignant.
 
Pour ceux qui veulent jeter un œil ou le tester, je recommande l'utilisation du navigateur Google Chrome pour une meilleure expérience :
 https://soundmasterrpg.com/?utm_source=casusno&utm_medium=forum&utm_campaign=beta

Les critiques sont les bienvenues, y compris si le concept ne correspond pas du tout à votre manière de maîtriser.
 
Vos retours m'intéressent particulièrement sur quelques points :
 — Utilisez-vous déjà des sons ou des ambiances pendant vos parties ? Si oui, comment les gérez-vous aujourd'hui ?
 — Le déclenchement vocal vous paraît-il réellement utile en partie, ou préféreriez-vous garder un déclenchement manuel ?
 — Le fait de préparer des combinaisons de mots-clés à l'avance vous semble-t-il naturel ou, au contraire, trop contraignant pour votre façon de maîtriser ?
 — Qu'est-ce qui vous manquerait, ou qu'est-ce qui vous empêcherait d'utiliser un outil comme SoundMasterRPG pendant une vraie partie ?

[Morningkill]

Je trouve l'idée trop cool, mais j'aurai un peur que le "alors, on va faire ce plan : a la nuit tombé .." déclenche la musique de nuit alors que les pjs sont en train de dejeuner a l'auberge.

[Kira]

C'est effectivement un des risques avec le déclenchement vocal.
Avec une phrase comme « à la nuit tombée… », la scène audio pourrait effectivement être détectée alors que ce n'est pas souhaité.
C'est aussi pour ça que j'ai ajouté un mode différé : lorsqu'une scène est détectée, elle ne se lance pas directement et le MJ (uniquement lui) peut choisir de la jouer ou de l'ignorer. Le délai est également réglable.

Lors de la détection de la scène audio "Nuit (calme)", une fenêtre de validation s'ouvre. Vous jouez ou l'ignorez.

Le mode instantané reste forcément plus exposé à ce genre de faux positif, donc c'est clairement un point que je vais surveiller pendant la bêta.
Merci pour le retour !

[DéquiVrille]

- edit : si j'ai bien compris, l'app ne s'installe pas sur mon pc, ce qui m'est rédhibitoire.

— Utilisez-vous déjà des sons ou des ambiances pendant vos parties ? Si oui, comment les gérez-vous aujourd'hui ?
Soundplant + Soundshow Pro + Stream Deck XL + écran tactile (+ Foobar2000 quand c'est que des playlists)

— Le déclenchement vocal vous paraît-il réellement utile en partie, ou préféreriez-vous garder un déclenchement manuel ?
utile en complément de logiciels qui sont déjà très bons dans le domaine du déclenchement manuel. Pour lancer l'intro, des scènes et l'outro et du scripté le déclenchement vocal c'est cool. Donc ton logiciel permet d'alléger un peu la charge mentale de la gestion de son en cours de partie.

— Le fait de préparer des combinaisons de mots-clés à l'avance vous semble-t-il naturel ou, au contraire, trop contraignant pour votre façon de maîtriser ?
ce n'est ni naturel, ni contraignant, si ça permet de résoudre un problème. Si ça me permet d'alléger la charge mentale de la gestion de son de la partie scriptée et d'avoir plus de focus sur la partie, oui l'effort est valide. A quel prix, c'est surtout ça la vraie question.

— Qu'est-ce qui vous manquerait, ou qu'est-ce qui vous empêcherait d'utiliser un outil comme SoundMasterRPG pendant une vraie partie ?
Je ne veux pas avoir à utiliser un cloud, le logiciel doit être sur mon pc, je dois pouvoir l'utiliser offline, et EDIT -- je veux être propriétaire de ce que je crée. L'outil rajoute une surcouche de préparation. Et donc si le bénéfice reste modeste (il est différé surtout), le prix devrait l'être aussi.

[Kira]

Merci pour ton retour détaillé !

Pour la partie application PC, une version application PC téléchargeable est justement la prochaine grosse étape prévue.

Pour l'instant je reste sur la version web pour la bêta, simplement parce que j'ai besoin d'avoir des retours de MJ avant de me lancer dans le développement de l'application.

Ça me permet de voir ce qui fonctionne vraiment, ce qui doit être revu et surtout si le déclenchement vocal apporte réellement quelque chose en partie.

L'objectif à terme est aussi de pouvoir l'utiliser en local/offline.

Et je te rejoins sur le rapport entre le temps de préparation et le gain derrière : si ça demande de préparer davantage pour finalement gagner très peu en partie, ça perd forcément de son intérêt.

C'est justement un des points que j'essaie de mesurer avec la bêta.

Merci en tout cas, ton retour m'aide beaucoup !

[DéquiVrille]

tu t'es très certainement déjà informé mais voici ce qui semble (malheureusement) concurrencer ton logiciel à moyen terme :
Gemini m'a répondu ceci

1. Les startups et projets dédiés à l'audio adaptatif

TableTone : L'une des équipes les plus avancées sur l'audio dynamique pour JDR. Leur moteur analyse le type de lieu, la situation et l'intensité narrative pour adapter la musique et la superposition des couches sonores en continu.

Pocket Bard : Développé par une équipe indépendante, cet outil repose sur un système où la musique réagit au quart de tour selon l'état d'esprit sélectionné ou détecté.

SoundQuest / Endlesss AI : Des projets axés sur la génération audio générative en direct, qui expérimentent l'intégration de "triggers" texte-vers-son pour produire des nappes sonores à la volée.

2. La communauté Open-Source et Indie (GitHub & Reddit)

Sur des sous-reddits comme r/VirtualTabletop ou r/RPG, plusieurs développeurs indépendants partagent leurs scripts expérimentaux reliant la reconnaissance vocale au son :

Integrations Whisper + Syrinscape/Kenku FM : Des codeurs créent des bots pour Discord ou Foundry VTT. Le bot tourne en fond pendant la partie, retranscrit le micro via le modèle Whisper (d'OpenAI), fait passer le texte dans un petit modèle de classification, puis déclenche une API audio (ex. lancer une piste "Combat Dragon" dès que le mot "initiative" ou "attaque" est prononcé).

Modules Foundry VTT communautaires : La communauté de Foundry VTT développe régulièrement des modules expérimentaux exploitant les API d'OpenAI ou de local LLM (comme Ollama) pour analyser le chat de partie ou le flux audio et automatiser l'éclairage et la musique d'ambiance.

Je préfère largement un logiciel non IA et passer du temps à geeker de manière exagérée sur le côté préparation audio. Mais je pense être minoritaire. Si quelqu'un achète un logiciel, ce sera pour gagner du temps. Et si c'est complètement automatisé et qu'en plus ça surprend même le mj, l'IA risque d'être plus attractive .

[Kira]

Merci pour les pistes, je vais regarder tout ça plus en détail !
 
C'est effectivement une question que je me pose aussi concernant l'IA.
Sur le papier, on peut déjà arriver à des choses très poussées avec Foundry, de la reconnaissance vocale, de l'IA et différents modules, mais ça demande encore pas mal d'effort pour l'installation et la configuration.

Avec SoundMasterRPG, j'essaie justement d'avoir une approche plus simple : installer une scène audio, lancer sa session et jouer, tout en laissant l'Orchestrateur à ceux qui veulent aller beaucoup plus loin dans la préparation.

Pour l'instant je préfère aussi que le MJ garde le contrôle sur ce qui peut se déclencher plutôt que de laisser une IA interpréter toute la partie.
Mais je ne ferme pas la porte à l'IA plus tard si elle apporte un vrai gain sans compliquer l'utilisation et l'installation.

C'est clairement quelque chose que je vais surveiller pendant la bêta.
Merci pour les liens/pistes, ça me donne de quoi creuser !

[Kira]

- edit : si j'ai bien compris, l'app ne s'installe pas sur mon pc, ce qui m'est rédhibitoire.

— Utilisez-vous déjà des sons ou des ambiances pendant vos parties ? Si oui, comment les gérez-vous aujourd'hui ?
Soundplant + Soundshow Pro + Stream Deck XL + écran tactile (+ Foobar2000 quand c'est que des playlists)

— Le déclenchement vocal vous paraît-il réellement utile en partie, ou préféreriez-vous garder un déclenchement manuel ?
utile en complément de logiciels qui sont déjà très bons dans le domaine du déclenchement manuel. Pour lancer l'intro, des scènes et l'outro et du scripté le déclenchement vocal c'est cool. Donc ton logiciel permet d'alléger un peu la charge mentale de la gestion de son en cours de partie.

— Le fait de préparer des combinaisons de mots-clés à l'avance vous semble-t-il naturel ou, au contraire, trop contraignant pour votre façon de maîtriser ?
ce n'est ni naturel, ni contraignant, si ça permet de résoudre un problème. Si ça me permet d'alléger la charge mentale de la gestion de son de la partie scriptée et d'avoir plus de focus sur la partie, oui l'effort est valide. A quel prix, c'est surtout ça la vraie question.

— Qu'est-ce qui vous manquerait, ou qu'est-ce qui vous empêcherait d'utiliser un outil comme SoundMasterRPG pendant une vraie partie ?
Je ne veux pas avoir à utiliser un cloud, le logiciel doit être sur mon pc, je dois pouvoir l'utiliser offline, et EDIT -- je veux être propriétaire de ce que je crée. L'outil rajoute une surcouche de préparation. Et donc si le bénéfice reste modeste (il est différé surtout), le prix devrait l'être aussi.

D'ailleurs, quand tu dis « je veux être propriétaire de ce que je crée », tu veux dire que tes scènes audio et créations doivent rester personnelles et privées, et ne pas être utilisées ou partagées par SoundMasterRPG ?

[DéquiVrille]

oui et que ça soit localisé sur ma machine

[Kira]

oui et que ça soit localisé sur ma machine

D'accord, je comprends mieux ce que tu voulais dire.

C'est un point intéressant pour la version desktop : pouvoir garder ses créations en local sur sa machine, et pas uniquement dépendre du cloud.