

GestureFlow
ÉducatifTerminé
Une application qui reconnaît en temps réel cinq gestes de la main filmés par une webcam ordinaire, avec 99,5 % de précision sur des personnes que le modèle n'a jamais vues. Projet d'équipe du module de vision par ordinateur à IMT Mines Alès.
Voir le projet →Genèse du projet
GestureFlow est un projet du module de spécialisation Vision par ordinateur à IMT Mines Alès. Deux sujets étaient proposés, la reconnaissance de gestes et la reconnaissance d'émotions : avec Jules, Martin et Matthias, nous avons choisi les gestes de la main. Les outils étaient imposés, MediaPipe pour repérer la main et scikit-learn pour l'apprentissage, et le projet s'est conclu par une soutenance finale.
Nous avons construit toute la chaîne nous-mêmes : enregistrer nos propres poses (735 au total, à quatre), les normaliser, entraîner un modèle, puis reconnaître les gestes en direct à la webcam. La normalisation a été un point clé. En ramenant chaque main à la même échelle et à la même orientation, une petite main éloignée et une grande main proche deviennent comparables, et le modèle n'a plus qu'à apprendre la forme du geste.
Pour mesurer le résultat, le modèle est entraîné sur trois personnes et testé sur la quatrième, à tour de rôle. C'est ce que ce projet m'a le plus appris : un modèle testé sur les personnes qui ont servi à l'entraîner donne une image flatteuse, et seule une évaluation sur des inconnus montre s'il généralise vraiment. Dans ces conditions, il reconnaît 99,5 % des poses.
Équipe
Choix techniques
- Détection
- MediaPipe Hands, 21 points de la main en 3D
- Normalisation
- Points remis à l'échelle et orientés dans une position de référence
- Caractéristiques
- 78 valeurs par échantillon, dont 15 mesures d'angles et de distances
- Modèle
- Random Forest de 200 arbres (scikit-learn)
- Évaluation
- Entraînement sur trois personnes, test sur la quatrième, pour chacune
Roadmap du projet
Collecte des données
735 poses de la main enregistrées auprès de quatre personnes, pour cinq gestes.
TerminéEntraînement et évaluation
4 poses mal reconnues sur 735, sur des personnes absentes de l'entraînement.
TerminéReconnaissance en direct
Prédiction du geste en temps réel depuis la webcam.
Terminé