Logotype de GestureFlow

GestureFlow

Éducatif

Terminé

Une application qui reconnaît en temps réel cinq gestes de la main filmés par une webcam ordinaire, avec 99,5 % de précision sur des personnes que le modèle n'a jamais vues. Projet d'équipe du module de vision par ordinateur à IMT Mines Alès.

Voir le projet →

Genèse du projet

GestureFlow est un projet du module de spécialisation Vision par ordinateur à IMT Mines Alès. Deux sujets étaient proposés, la reconnaissance de gestes et la reconnaissance d'émotions : avec Jules, Martin et Matthias, nous avons choisi les gestes de la main. Les outils étaient imposés, MediaPipe pour repérer la main et scikit-learn pour l'apprentissage, et le projet s'est conclu par une soutenance finale.

Nous avons construit toute la chaîne nous-mêmes : enregistrer nos propres poses (735 au total, à quatre), les normaliser, entraîner un modèle, puis reconnaître les gestes en direct à la webcam. La normalisation a été un point clé. En ramenant chaque main à la même échelle et à la même orientation, une petite main éloignée et une grande main proche deviennent comparables, et le modèle n'a plus qu'à apprendre la forme du geste.

Pour mesurer le résultat, le modèle est entraîné sur trois personnes et testé sur la quatrième, à tour de rôle. C'est ce que ce projet m'a le plus appris : un modèle testé sur les personnes qui ont servi à l'entraîner donne une image flatteuse, et seule une évaluation sur des inconnus montre s'il généralise vraiment. Dans ces conditions, il reconnaît 99,5 % des poses.

Équipe

Choix techniques

Détection
MediaPipe Hands, 21 points de la main en 3D
Normalisation
Points remis à l'échelle et orientés dans une position de référence
Caractéristiques
78 valeurs par échantillon, dont 15 mesures d'angles et de distances
Modèle
Random Forest de 200 arbres (scikit-learn)
Évaluation
Entraînement sur trois personnes, test sur la quatrième, pour chacune

Roadmap du projet

  1. Collecte des données

    735 poses de la main enregistrées auprès de quatre personnes, pour cinq gestes.

    Terminé
  2. Entraînement et évaluation

    4 poses mal reconnues sur 735, sur des personnes absentes de l'entraînement.

    Terminé
  3. Reconnaissance en direct

    Prédiction du geste en temps réel depuis la webcam.

    Terminé