SPEECH AI Eléa Petton
A presentation at AI Days in June 2024 in Brest, France by Eléa PETTON
SPEECH AI Eléa Petton
PRÉSENTATION 02
PRÉSENTATION Eléa Petton Machine Learning Engineer OVHcloud AI Solutions Team 03 @EleaPetton eleapttn Eléa PETTON
OVHcloud UNE PRÉSENCE MONDIALE 04
À PROPOS D‘OVHcloud OVHcloud est un fournisseur mondial de services de cloud computing spécialisé dans les solutions performantes et rentables pour mieux gérer, sécuriser et faire évoluer les données. Private Cloud Public Cloud PaaS portfolio 05 Bare Metal Web Cloud
ÇA VOUS DIT ? “ Embarquez dans le développement d’une solution de transcription temps réel de vos contenus multimédia… ” 06
INTRODUCTION 07
INTRODUCTION “ Quels sont les différents types de contenus multimédia et leur(s) public(s) ? ” 01 VIDÉO 02 PHOTO 03 AUDIO 04 AFFICHE types de multimédia 08 contenu d’un website public ciblé
INTRODUCTION “ Quels sont les différents types de contenus multimédia et leur(s) public(s) ? ” 01 VIDÉO 02 PHOTO 03 AUDIO 04 AFFICHE types de multimédia 08 contenu d’un website publicS cibléS
TRANSFORMER SES CONTENUS MULTIMEDIA, QU’EST-CE QUE ÇA VEUT DIRE ? TRADUCTION TRANSCRIPTION Tran sc des A endez le s fr P emb Is de Mac ontières arq d hine lingu a L istiq solu tion ns le dév earning a vec su r d elop e tr conte nus m anscr te pement mesure : m ps d’un ultim réel e édia d e vos s! Changer la langue de… sa page web son post Twitter, LinkedIn, … ses slides 09 Passer de l’oral à l’écrit pour… sous-titrer des vidéos, podcasts garder le contenu d’une réunion SYNTHÈSE VOCALE DESCRIPTION Et si l’IA vous permettait d’élargir l’impact de vos différents contenus multimédias et de favoriser l’inclusivité ? Aujourd’hui, les médias et les réseaux sociaux sont omniprésents dans nos vies professionnelles et personnelles : vidéos, Tweets, posts, forums ou encore lives Twitch. Ces différents types de médias permettent aux entreprises et créateurs de contenus de promouvoir leurs activités et de fidéliser leurs communautés. Mais vous êtes-vous déjà interrogés sur le rôle de la langue choisie lors de la création de vos contenus ? L’utilisation d’une seule langue peut constituer un obstacle à la promotion de vos activités. La transcription et la traduction de vos contenus multimédias pourraient être la solution ! Adaptez vos vidéos dans différentes langues et rendez le contenu accessible à un public plus large, augmentant ainsi sa portée et son impact. Passer de l’écrit à l’oral pour… favoriser l’accessibilité doubler les voix Décrire ou résumer… une vidéo, un podcast le contenu d’une réunion une documentation
EN PRATIQUE, ÇA DONNE QUOI ? Multimedia translator Transcribe your video: https://www.youtube.com/… French Voice Male 10 English Subtitles .mp4 Download
NOS OBJECTIFS DÉFINIR les besoins 11 SÉLECTIONNER les modèles CHOISIR ses AI Endpoints DÉVELOPPER la partie client DÉPLOYER l’app end to end
DÉFINITION des besoins 12
QUELS SONT NOS PERSONAE ? SE DÉVELOPPER À L’INTERNATIONAL Traduire du contenu multimedia pour un usage multilingue Adapter les vidéos pour un public mondial TRANSCRIRE LES MEETINGS Retranscrire les meetings à l’écrit Transcrire les meetings dans une autre langues Résumer les meetings ÊTRE PLUS INCLUSIF ! ÉLARGIR SON PUBLIC… En tant que créateur de contenu, j’aimerais élargir ma communauté Créer et publier un contenu plus attrayant 13 Sous-titrer les vidéos pour les personnes malentendantes Inclure les personnes qui ne parlent pas la même langue
QUELS SONT NOS BESOINS ? Transcription TECHNOLOGIES Traduction Synthèse vocale 14
QUELS SONT NOS BESOINS ? Anglais Espagnol Allemand Français 14 LANGUES
QUELS SONT NOS BESOINS ? Anglais Transcription audio Espagnol Allemand Français 14 BESOIN GLOBAL Traduction Synthèse vocale
3 TÂCHES CIBLÉES AUDIO recognition 15 TEXT translation SPEECH synthesis
SÉLECTION des modèles 16
OÙ TROUVER CES MODÈLES ? 17
COMMENT CHOISIR LES MODÈLES ? 18
ASR ENDPOINT 19
TTS ENDPOINT Coming Soon 20
NMT ENDPOINT Coming Soon 21
COMMENT CONNECTER CES AI ENDPOINTS ENTRE EUX ? 22
CONNECTER LES ENDPOINTS API “ Connectez vos AI Endpoints selon vos besoins de Speech AI ! ” ASR endpoint 4923 u lt a t A S R Langue cible en-US Transcription française traduite en anglais ultat NM és TTS endpoint Audio généré en anglais avec une voix de femme heureuse à partir la transcription française et de la traduction de l’audio d’origine T r és NMT endpoint Genre de la voix Female rés Emotion de la voix Happy TS Audio d’origine NMT tl at r résu Langue source fr-FR ult at T
CONSTRUIRE sa solution 24
CONSTRUIRE SA SOLUTION Multimedia translator Transcribe your video: https://www.youtube.com/… French Voice Male 25 English Subtitles .mp4 Download
CONSTRUIRE SA SOLUTION Entrer un lien de vidéo YouTube Transcrire la partie audio de la vidéo en texte Sous-titrer la vidéo dans n’importe quelle langue Doubler la voix de le vidéo dans une autre langue Choisir le genre de la voix de doublage Télécharger la vidéo résultante 23
DÉVELOPPER LES FEATURES CLÉS SRT GÉNÉRER un fichier SRT de sous-titres 26 CONSERVER les silences pendant la traduction DOUBLER l’audio d’une vidéo dans une autre langue
DÉVELOPPER LES FEATURES CLÉS SRT GÉNÉRER un fichier SRT de sous-titres 27 CONSERVER les silences pendant la traduction DOUBLER l’audio d’une vidéo dans une autre langue
GÉNÉRER UN FICHIER SRT 28
DÉVELOPPER LES FEATURES CLÉS SRT GÉNÉRER un fichier SRT de sous-titres 29 CONSERVER les silences pendant la traduction DOUBLER l’audio d’une vidéo dans une autre langue
CONSERVER LES SILENCES 30
DÉVELOPPER LES FEATURES CLÉS SRT GÉNÉRER un fichier SRT de sous-titres 31 CONSERVER les silences pendant la traduction DOUBLER l’audio d’une vidéo dans une autre langue
DOUBLER L’AUDIO D’UNE VIDÉO 32
DÉPLOIEMENT l’app end-to-end 33
DÉPLOIEMENT L’APP END-TO-END SÉLECTION des endpoints 34 16 DÉVELOPPEMENT de sa solution CONTENEURISATION de sa solution DÉPLOIEMENT de l’app end-to-end
DÉPLOIEMENT L’APP END-TO-END SÉLECTION des endpoints 34 16 DÉVELOPPEMENT de sa solution CONTENEURISATION de sa solution DÉPLOIEMENT de l’app end-to-end
SÉLECTION DES ENDPOINTS Anglais ASR Espagnol Allemand Français 35 AI ENDPOINTS NMT TTS
DÉPLOIEMENT L’APP END-TO-END SÉLECTION des endpoints 36 16 DÉVELOPPEMENT de sa solution CONTENEURISATION de sa solution DÉPLOIEMENT de l’app end-to-end
DÉVELOPPEMENT DE SA SOLUTION Multimedia translator Transcribe your video: https://www.youtube.com/… French Voice Male 37 English Subtitles .mp4 Download
DÉPLOIEMENT L’APP END-TO-END SÉLECTION des endpoints 38 16 DÉVELOPPEMENT de sa solution CONTENEURISATION de sa solution DÉPLOIEMENT de l’app end-to-end
CONTENEURISATION DE SA SOLUTION FROM python:3.10 WORKDIR /workspace ADD . /workspace RUN apt-get update && apt-get install -y ffmpeg libsndfile1-dev RUN pip install -r requirements.txt RUN chown -R 42420:42420 /workspace ENV HOME=/workspace CMD [ “python3” , “/workspace/main.py” ] 39 Dockerfile
DÉPLOIEMENT L’APP END-TO-END SÉLECTION des endpoints 40 16 DÉVELOPPEMENT de sa solution CONTENEURISATION de sa solution DÉPLOIEMENT de l’app end-to-end
SOLUTION DE DÉPLOIEMENT COMPUTE RESOURCES 1 GPU H100 COMPUTE RESOURCES HIGH AVAILABILITY API scalable on the fly Custom number of replicas HIGH AVAILABILITY 41 SECURE ACCESS SECURE ACCESS Private mode Personal token access
OVHcloud AI DEPLOY 42 01 CONTENEUR AS A SERVICE Le client fournit un conteneur Docker via une registry Docker 02 COMPUTE RESSOURCES RESOURCES DE CALCUL Le conteneur s’exécute dans le cloud sur GPU (ou CPU) 03 MODE DE FACTURATION 04 DÉPLOIEMENT API/APP Manière industrielle de déployer des API(s) stateless 05 STRATÉGIE D’AUTOSCALING Scalable à la volé Le client est facturé à la minute utilisée
DÉPLOIEMENT L’APP END-TO-END AI DEPLOY AI ENPOINTS ASR NMT TTS 43 audio d’entrée EXTRACT AUDIO (.WAV) vidéo d’entrée CONVERT SUBTITLES (.SRT) text traduit audio généré MERGE AUDIO AND VIDEO (.MP4) Speech AI Endpoints Custom Solution CHOOSE THE AI ENDPOINTS ACCORDING TO YOUR NEEDS DEPLOY END-TO-END SOLUTION THROUGH GRADIO APP IN THE CLOUD WITH HIGH AVAILABILITY vidéo résultante avec un sous-titrage traduit de manière précise et/ou un doublage de la voix dans la langue cible
DÉMO de l’app 44
DÉMO DE L’APP 45
DÉMO DE L’APP 46 https://bit.ly/ai-days-multimedia-translator
CONCLUSION 47
CONCLUSION Le “multimode multimedia translator“ en résumé… SOLUTION DE TRANSCRIPTION ET TRADUCTION MULTIMÉDIA vidéos traduites et soustitrées vidéos doublées dans une autre langue 48 OVHcloud AI ENDPOINTS simple d’utilisation gain de temps dans le développement OVHcloud AI DEPLOY solution serverless top des GPUs (H100, A100, L4, L40S, V100S) ET CE N’EST PAS FINI… reconnaissance des émotions transcription en temps réel personnalisation de la voix enrichissement du vocab
CONTACTEZ-NOUS ! INFORMATIONS Informations 49 https://www.ovhcloud.com/ OVHcloud elea.petton@ovhcloud.com @OVHcloud
À VOUS DE TESTER ! 50 https://bit.ly/ai-days-multimedia-translator
MERCI !
