Logotype de Soong et Lyricsmith

Soong & Lyricsmith

Personnel

Actif

Deux outils qui forment une seule chaîne. Soong transforme un clip vidéo en vidéo de paroles synchronisées mot à mot sur la voix. Lyricsmith transcrit les paroles d'une chanson quand Genius ne les connaît pas, et note la fiabilité du résultat.

Voir le projet →

Genèse du projet

Ces deux outils sont nés d'un besoin personnel : créer facilement et rapidement des vidéos de paroles façon karaoké, en particulier pour des morceaux peu connus qui n'en ont aucune sur YouTube.

J'ai commencé par la transcription. Ces morceaux n'ont souvent pas de paroles en ligne non plus, et je voulais automatiser leur écriture pour pouvoir les ajouter à Genius. C'est devenu Lyricsmith. Il sépare d'abord la voix de la musique avec Demucs, ce qui rend la transcription bien plus propre, puis nettoie le texte obtenu, retire les répétitions et le remet en forme en couplets. Comme une transcription automatique n'est jamais parfaite, chaque chanson reçoit une note de A à D, et les passages douteux sont signalés plutôt que conservés en silence : on sait exactement à quel point se fier au résultat avant de le publier.

Je suis ensuite passé à la vidéo avec Soong. On colle le lien d'un clip, Soong récupère les paroles sur Genius, puis aligne chaque mot sur la voix du chanteur par alignement forcé, plutôt que de se contenter d'horodatages approximatifs. Il produit enfin une vidéo floutée avec les paroles incrustées, ligne par ligne ou mot par mot, dans un style entièrement réglable : police, taille, contour, position, fondu, intensité du flou. Quand les paroles viennent d'une transcription, on les relit en écoutant le morceau avant tout rendu.

Ce sont deux outils indépendants, chacun utile seul, mais qui s'emboîtent naturellement : quand Genius ne connaît pas une chanson, Soong fait appel à Lyricsmith. Je les ai pensés pour tourner sur une machine personnelle, avec une seule carte graphique grand public de 8 Go et un repli sur processeur, en application de bureau comme en ligne de commande.

Choix techniques

Paroles
Genius en priorité, transcription par Lyricsmith en secours
Séparation de la voix
Demucs, avant toute transcription
Fiabilité
Note de A à D par chanson, passages douteux signalés plutôt que conservés
Synchronisation
Alignement forcé de chaque mot sur la voix
Rendu
FFmpeg, vidéo floutée et paroles incrustées, style réglé dans un config.yaml
Interfaces
Application de bureau PySide6, ligne de commande et bibliothèque Python
Matériel
Pensé pour un GPU grand public de 8 Go, avec repli sur CPU

Roadmap du projet

  1. Lyricsmith

    Chaîne de transcription : séparation de la voix, transcription, nettoyage et note de qualité.

    Terminé
  2. Soong

    Chaîne de vidéo de paroles, avec application de bureau et ligne de commande.

    Terminé
  3. Documentation

    Sites de documentation des deux outils migrés de MkDocs vers Kiln.

    Terminé