A presentation at Devoxx France 2023 in in Paris, France by Eléa PETTON
Eléa Petton
Eléa Petton Machine Learning Engineer AI Solutions Team @EleaPetton eleapttn Eléa PETTON 2
Au programme Objectifs ASL dataset Test de la première solution Data augmentation Entraînement du modèle d’IA Déploiement de l’app d’IA Test de la seconde solution 3
Objectifs Nous avons une idée géniale ! Détecter la langue des signes avec une IA pour pouvoir la comprendre facilement… 4
ASL dataset American Sign Language Letters Dataset v1 1728 images 26 classes David Lee Roboflow C 0.96 5
ASL dataset A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 6
Object Detection 7
YOLOv7 You Only Look Once Famille d’algorithmes Détection de divers objets dans des images ou vidéos Temps réel Rapide + précis 8
Détecter les lettres de l’ASL avec YOLOv7 W ENTRAÎNEMENT du modèle DÉTECTION en temps réel 0.89 AFFICHAGE des résultats 9
Test de la première solution On la teste cette app ? 10
Quel est le problème ? Mauvaise identification des lettres 11
Quel est le problème ? Mauvaise identification des lettres Faibles précisions 11
Quel est le problème ? Mauvaise identification des lettres Faibles précisions Reconnaissance de faux objets 11
Pourquoi de tels résultats ? Base de données trop petite - 1728 images seulement Manque de diversité dans le jeu de données - peu de variété dans les arrière-plans - luminosité et exposition similaires - même type de mains (même couleur de peau, pas de tatouages ou bagues, …) - pas assez de diversité dans les premiers plans 12
ASL dataset A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 13
model EVALUATION AI AI TEBOOO O N TEBOOO O N KS model EXPORTATION model INITIALIZATION KS CT STORA E J GE OB ASL LETTERS dataset TEBOOO O N KS AI Un voyage vers le meilleur modèle model TRAINING EPLOY AI D REAL-TIME DETECTION app DEVELOPMENT app DEPLOYMENT 14
AI model EVALUATION AI OB TEBOOO O N TEBOOO O N KS model EXPORTATION model INITIALIZATION KS GE CT STORA E J AI data PROCESSING ASL LETTERS dataset TEBOOO O N KS NOTEBO K R S OK SPA Un voyage vers le meilleur modèle model TRAINING EPLOY AI D REAL-TIME DETECTION app DEVELOPMENT app DEPLOYMENT 14
Data augmentation Comment élargir rapidement mon ensemble de données ? 15
Comment obtenir plus de données ? Demander à mes amis de nouvelles images Devenir un professionnel de Photoshop Augmentation des données à l’aide d’un outil dédié 16
Comment résoudre ce problème ? n o i t a t n e m g u a data dataset d’origine dataset d’origine + nouveau dataset personnalisé dataset résultant avec les données augmentées 17
Data augmentation original saturation flip horizontal bruit glissement flou luminosité contraste 18
Outils de data processing Traitement d’images classique OpenCV Pillow Scikit-image Traitement d’images distribué Apache Spark 19
Traitement de données dataset personnalisé traitement d’images dataset résultant avec les données augmentées 20
Augmentation de la donnée Passage de 1700 images à 2300 2 images générées pour chaque nouvelle image existante Basic train dataset size: 1512 x1.4 Augmented train dataset: 1975 Basic validation dataset size: 144 Augmented validation dataset: 267 Basic test dataset size: 72 Augmented test dataset: 104 21
Entraînement du modèle d’IA Pour entraîner un modèle d’IA, j’ai besoin de la puissance du GPU ! 22
AI tools NOTEBOOK AI Notebooks Data scientist AI Training AI Deploy Machine Learning Engineer 23
AI Notebooks Accéder au Jupyter Notebook dans le Cloud Jupyter Miniconda 24
Comparer les modèles - metrics Precision & Recall 25
Comparer les modèles - metrics mAPs 26
Comparer les modèles - losses Training set 27
Comparer les modèles - losses Validation set 28
Comparer les modèles - confusion matrix Basic Dataset Augmented Dataset 29
Comparer les modèles - confusion matrix Basic Dataset Augmented Dataset 29
Déploiement de l’app d’IA C’est l’heure du déploiement ! Des amoureux de Docker dans la salle ? 30
Déployer une app d’IA modèle d’IA script Python image Docker AI Deploy 31
Test de la seconde solution C’est sûr! cette fois-ci, c’est la bonne solution ! 32
Vous voulez tester cette app ? https://bit.ly/ai-sign-language 33
Conclusion Au final, qu’avons-nous appris aujourd’hui ? 34
Qu’avons nous appris ? Améliorer un dataset et un modèle d’IA grâce à la Data Augmentation Entraîner un modèle avec la puissance du GPU Comparer les modèles avec Weights & Biases Créer une application d’IA à l’aide du modèle d’IA entraîné Déployer une application AI Deploy avec sécurité et haute disponibilité 35
MERCI
Références Documentation Data Processing d’OVHcloud: https://docs.ovh.com/gb/en/data-processing/ Dépôt d’exemples AI d’OVHcloud: https://github.com/ovh/ai-training-examples Documentation AI d’OVHcloud: https://docs.ovh.com/gb/en/publiccloud/ai/ Dépôt YOLOv7: https://github.com/WongKinYiu/yolov7 ASL alphabet dataset: https://public.roboflow.com/object-detection/american-sign-language-letters Notebook: https://github.com/ovh/ai-training-examples/blob/main/notebooks/computer-vision/objectdetection/miniconda/yolov7/notebook_object_detection_yolov7_asl.ipynb App: https://github.com/ovh/ai-training-examples/tree/main/apps/streamlit/sign-language-recognition-yolov7-app Accès Public cloud: https://www.ovhcloud.com/fr/public-cloud/ Article Le Parisien: https://www.leparisien.fr/etudiant/vie-etudiante/avec-lia-un-jeune-ingenieur-veut-revolutionner-la-traductionautomatique-de-videos-en-langue-des-signes-4OGCWCW2RBALZIWPYCVXIHPGGY.php
Dans le domaine de l’Intelligence Artificielle, nous parlons souvent de Computer Vision et d’Object Detection, mais au final que signifient ces termes et surtout comment peuvent-ils nous aider dans la vie courante ?
Durant ce talk nous allons tout d’abord tenter de comprendre la place qu’occupe l’IA dans le vaste domaine de la santé. Nous montrerons ensuite l’importance de la donnée et nous développerons une app capable de détecter et d’interpréter la langue des signes.
Ce talk montrera comment il est possible de traiter la donnée avec du traitement d’image pour enrichir ses données d’entraînement.
La seconde étape consistera à entraîner un modèle de détection d’objets à reconnaître les différents signes de l’alphabet ASL (American Sign Language) au travers d’un notebook Jupyter. .
Une fois le modèle construit et entrainé quoi de mieux que de créer ensemble une application ? Cette dernière sera basée sur les technologiques Cloud et container et nous verrons comment créer et déployer un tel outil. Bien sûr, pour finalement, permettre à quiconque de comprendre la langue des signes avec une détection en temps réel et une transcription écrite.
for free. You
can too.