

Soong & Lyricsmith
PersonnelActif
Deux outils qui forment une seule chaîne. Soong transforme un clip vidéo en vidéo de paroles synchronisées mot à mot sur la voix. Lyricsmith transcrit les paroles d'une chanson quand Genius ne les connaît pas, et note la fiabilité du résultat.
Voir le projet →Genèse du projet
Ces deux outils sont nés d'un besoin personnel : créer facilement et rapidement des vidéos de paroles façon karaoké, en particulier pour des morceaux peu connus qui n'en ont aucune sur YouTube.
J'ai commencé par la transcription. Ces morceaux n'ont souvent pas de paroles en ligne non plus, et je voulais automatiser leur écriture pour pouvoir les ajouter à Genius. C'est devenu Lyricsmith. Il sépare d'abord la voix de la musique avec Demucs, ce qui rend la transcription bien plus propre, puis nettoie le texte obtenu, retire les répétitions et le remet en forme en couplets. Comme une transcription automatique n'est jamais parfaite, chaque chanson reçoit une note de A à D, et les passages douteux sont signalés plutôt que conservés en silence : on sait exactement à quel point se fier au résultat avant de le publier.
Je suis ensuite passé à la vidéo avec Soong. On colle le lien d'un clip, Soong récupère les paroles sur Genius, puis aligne chaque mot sur la voix du chanteur par alignement forcé, plutôt que de se contenter d'horodatages approximatifs. Il produit enfin une vidéo floutée avec les paroles incrustées, ligne par ligne ou mot par mot, dans un style entièrement réglable : police, taille, contour, position, fondu, intensité du flou. Quand les paroles viennent d'une transcription, on les relit en écoutant le morceau avant tout rendu.
Ce sont deux outils indépendants, chacun utile seul, mais qui s'emboîtent naturellement : quand Genius ne connaît pas une chanson, Soong fait appel à Lyricsmith. Je les ai pensés pour tourner sur une machine personnelle, avec une seule carte graphique grand public de 8 Go et un repli sur processeur, en application de bureau comme en ligne de commande.
Choix techniques
- Paroles
- Genius en priorité, transcription par Lyricsmith en secours
- Séparation de la voix
- Demucs, avant toute transcription
- Fiabilité
- Note de A à D par chanson, passages douteux signalés plutôt que conservés
- Synchronisation
- Alignement forcé de chaque mot sur la voix
- Rendu
- FFmpeg, vidéo floutée et paroles incrustées, style réglé dans un config.yaml
- Interfaces
- Application de bureau PySide6, ligne de commande et bibliothèque Python
- Matériel
- Pensé pour un GPU grand public de 8 Go, avec repli sur CPU
Roadmap du projet
Lyricsmith
Chaîne de transcription : séparation de la voix, transcription, nettoyage et note de qualité.
TerminéSoong
Chaîne de vidéo de paroles, avec application de bureau et ligne de commande.
TerminéDocumentation
Sites de documentation des deux outils migrés de MkDocs vers Kiln.
Terminé