🇨🇦 🇺🇸 English: A quick overview of my Ph.D. project was broadcasted by Radio-Canada Télévision last Sunday (September 27, 2020). Videos recording from November 2019. Thank you very much, Découverte - Radio-Canada Télévision team!

🇨🇦 🇫🇷 Français: Un bref aperçu de mon projet de doctorat a été diffusé par Radio-Canada Télévision dimanche dernier (27 septembre 2020). Enregistrement de vidéos à partir de novembre 2019. Merci beaucoup à l’équipe de Découverte - Radio-Canada Télévision!

🇧🇷 Português: Uma rápida visão geral do meu projeto de Ph.D. foi transmitida pela Radio-Canada Télévision no último domingo (27 de setembro de 2020). Gravação de vídeos de novembro de 2019. Muito obrigado, Découverte - Equipe da Radio-Canada Télévision!

Ph.D. Project

Ramon Figueiredo Pessoa’s Ph.D. project:
Monocular and marker-less automatic kinematic analysis of diving using deep learning to promote excellence in execution

Supervisor: Carlos Vazquez
Co-supervisor: Rachid Aissaoui

Watch the Episode

🇨🇦 🇺🇸 English: You can watch using this link (French episode):
🇨🇦 🇫🇷 Français: Vous pouvez regarder en utilisant ce lien:
🇧🇷 Português: Você pode assistir usando este link (Episódio em francês):

https://ici.radio-canada.ca/tele/decouverte/site/segments/reportage/202158/olympique-image

🇨🇦 🇺🇸 Subtitles (English)

Découverte = Discovery (TV show):
- The idea of analyzing two-dimensional videos to produce digital 3D models is creating a small revolution in the world of sports. For example, in diving.

Aaron Dziver (Coach: Diving Canada):
- The arms a little longer ...

Découverte = Discovery (TV show):
- November 2019 in less than two seconds, Pamela Ware swivels in all directions. Almost every time, her trainer sees things to correct.

Aaron Dziver (Coach: Diving Canada):
- You can wait a bit, then after, make your line.

Découverte = Discovery (TV show):
- And if necessary there are the video replays.

Aaron Dziver (Coach: Diving Canada):
- When we look, indeed, the athlete had sensed something that the coach, perhaps, missed, then based on that information, we can modify the correction a little. It happens. Coaches are not perfect!

Découverte = Discovery (TV show):
- Perfect or not, coaches will soon have access to an ultra-detailed analysis of each dive.

Mathieu Charbonneau (biomechanist: INS Québec):
- From a video that we are already capturing, well, there is a lot more information in there, there are answers to our questions. So we want to get that information.

“Make the images speak ...”

Découverte = Discovery (TV show):
- It is here, at the Olympic Park Sports Center, that the best divers in the country train. To study them, there is no question of covering them every day with sensors.

Mathieu Charbonneau (biomechanist: INS Québec):
- What we want to do is take measures that we call transparent. The athlete does his things, the coach does his things, there is a system that takes care of entering the data.

Ramon Figueiredo Pessoa (Ph.D. candidate in Software and IT Engineering at Université du Québec, École de Technologie Supérieure (ÉTS)):
This system will give you a better understanding of the diver movement.

Découverte = Discovery (TV show):
This system is developed by the École de technologie supérieure (Ramon Figueiredo Pessoa).

Rachid Aissaoui (Professor, co-supervisor of this project):
The challenge that the Institut national des sports du Québec has presented to us is to be able to use a video camera, perhaps high resolution, with a high sampling frequency, but only one camera.

Découverte = Discovery (TV show):
- Researchers are banking on artificial intelligence. And one of the starting points was this: OpenPose.

Z. Cao, T. Simon, S. Wei and Y. Sheikh, “Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields,” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 1302-1310, doi: 10.1109/CVPR.2017.143.
Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2019 Jul. DOI: 10.1109/tpami.2019.2929257.

Découverte = Discovery (TV show):
Because there are already tools to see the human skeleton in action in videos. But as a rule, people have their feet on the ground. When a diver curls up, spins at full speed, or worse, with his head down, the computer loses sight of him.

Rachid Aissaoui (Professor, co-supervisor of this project):
- We use existing software, called OpenPose, at the start, to have a minimal skeleton. And obviously, that doesn’t work. He disappears because he was not trained in postures like diving jumps. So we are going to train a new model, we are going to change the architecture of this “OpenPose” a little bit to train him in postures that he has never seen.

Découverte = Discovery (TV show):
- The first step is to distinguish the interference diver, such as the crowd, or another diver.
- The computer must then assess where the head, shoulders, hips, hands, legs are, and then link them together.

Ramon Figueiredo Pessoa (Ph.D. candidate in Software and IT Engineering at Université du Québec, École de Technologie Supérieure (ÉTS)):
Those frames are selected automatically

Découverte = Discovery (TV show):
- In addition to the diver, this project also want to identify the springboard during the jump and the splashes when entering the water.

Mathieu Charbonneau (biomechanist: INS Québec):
- We can quantify the height of the take-off, the deflection of the springboard, for example, how it uses the spring. Then from that, the maximum height. If again, the athlete makes rotations, then we can measure this speed of rotation during the execution. And we can also have other key positions such as the height of the opening and the posture of the athlete when entering the water.

Découverte = Discovery (TV show):
- The objective is for the information to be available on the screen, right out of the water. We can also compile them over the weeks to see if the training is bearing fruit.

Aaron Dziver (Coach: Diving Canada):
- So we’re really, really excited because it can give much more precise information, then based on physical laws. We can’t be wrong with that. Then, I think we are going to have something that is special in Canada, then it will be ours, then, the advantage, it will be ours.

🇨🇦 🇫🇷 Les sous-titres (Français)

Découverte (émission de télévision):
- L’idée d’analyser des vidéos en deux dimensions pour produire des modèles numériques en 3D est en train de créer une petite révolution dans le monde du sport. Par example, en plongeon.

Aaron Dziver (entraîneur: Plongeon Canada):
- Les bras un peu plus allongés longtemps...

Découverte (émission de télévision):
- Novembre 2019 en moins de deux secondes, Pamela Ware pivote dans tous les sens. Presque chaque fois, son entraîneur voit des choses à corriger.

Aaron Dziver (entraîneur: Plongeon Canada):
- Tu peux attendre un peu, puis après, fais ta ligne.

Découverte (émission de télévision):
- Et au besoin il y a les reprises vidéos.

Aaron Dziver (entraîneur: Plongeon Canada):
- Quand on regarde, effectivement, l’athlète avait senti une chose que l’entraîneur, peut-être, a manqué, puis basé sur cette information-là, on peut modifier un peu la correction. Ça arrive. On n’est pas parfaits les entraîneurs!

Découverte (émission de télévision):
- Parfaits ou non, les entraîneurs auront bientôt accès à une analyse ultra-détaillée de chaque plongeon.

Mathieu Charbonneau (biomécanicien: INS Québec):
- À partir d’une vidéo qu’on saisit déjà, bien, il y a beaucoup plus d’informations là-dedans, il y a des réponses à nos questions. Donc, on veut obtenir ces informations-là.

« Faire parler les images... »

Découverte (émission de télévision):
- C’est ici, au Centre sportif du Parc olympique, que s’entraînent les meilleurs plongeurs du pays. Pour les étudier, pas question de les recouvrir tous les jours de capteurs.

Mathieu Charbonneau (biomécanicien: INS Québec):
- Ce qu’on veut faire, c’est une prise de mesures qu’on appelle transparente. L’athlète fait ses choses, l’entraîneur fait ses choses, il y a un système qui s’occupe de saisir les données.

Ramon Figueiredo Pessoa (doctorant en génie logiciel et informatique à l’Université du Québec, École de technologie supérieure (ÉTS)):
Ce système vous permettra de mieux comprendre le mouvement du plongeur (This system will give you a better understanding of the diver movement)

Découverte (émission de télévision):
Ce système, c’est l’École de technologie supérieure qui le développe (Ramon Figueiredo Pessoa).

Rachid Aissaoui (Professeur, co-superviseur de cet projet):
Le défi que l’Institut national des sports du Québec nous a soumis, c’est de pouvoir utiliser une caméra vidéo, peut-être haute résolution, avec une haute fréquence d’échantillonnage, mais une seule caméra.

Découverte (émission de télévision):
- Les chercheurs misent sur l’intelligence artificielle. Et un des points de départ, ça a été ceci: OpenPose.

Z. Cao, T. Simon, S. Wei and Y. Sheikh, « Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields », 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 1302-1310, doi: 10.1109/CVPR.2017.143.
Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2019 Jul. DOI: 10.1109/tpami.2019.2929257.

Découverte (émission de télévision):
Parce qu’il existe déjà des outils pour voir le squelette humain en action dans des vidéos. Mais règle générale, les gens ont les pieds au sol. Quand un plongeur se recroqueville, tourne à toute vitesse, ou pire, a la tête en bas, l’ordinateur le perd de vue.

Rachid Aissaoui (professeur, co-superviseur de cet projet):
- On utilise un logiciel qui existe, qui s’appelle OpenPose, au départ, pour avoir un squelette minimal. Et évidemment, ça ne marche pas. Il disparaît, parce qu’il n’a pas été entraîné sur des postures. Donc on va l’entraîner, on va changer un petit peu l’architecture de ce « OpenPose » pour l’entraîner sur des postures qu’il n’a jamais vu.

Découverte (émission de télévision):
- La première étape, c’est de distinguer le plongeur d’interférence, comme la foule, ou un autre plongeur.
- L’ordinateur doit ensuite évaluer où se trouve la tête, les épaules, les hanches, les mains, les jambes, puis, les relier entre elles.

Ramon Figueiredo Pessoa (doctorant en génie logiciel et informatique à l’Université du Québec, École de technologie supérieure (ÉTS)):
Ces cadres sont sélectionnés automatiquement (Those frames are selected automatically)

Découverte (émission de télévision):
- En plus du plongeur, on veut aussi identifier le tremplin lors du saut et les éclaboussures, lors de l’entrée à l’eau.

Mathieu Charbonneau (biomécanicien: INS Québec):
- On pourra quantifier la hauteur du saut d’appel, la déflexion du tremplin, par exemple, comment il utilise le ressort. Ensuite de ça, la hauteur maximale. Si, encore là, l’athlète fait des rotations, donc on pourra mesurer cette vitesse de rotation-là pendant l’exécution. Et on pourra avoir aussi d’autres positions clés comme la hauteur de l’ouverture et la posture de l’athlète lors de l’entrée à l’eau.

Découverte (émission de télévision):
- L’objectif, c’est que les informations soient disponibles à l’écran, dès la sortie de l’eau. On pourra aussi les compiler au fil des semaines pour voir si l’entraînement porte fruits.

Aaron Dziver (entraîneur: Plongeon Canada):
- Donc, on est vraiment, vraiment excités parce que ça peut donner une information beaucoup plus précise, puis basée sur les lois physiques. On ne peut pas être en erreur avec ça. Puis, je pense qu’on va avoir quelque chose qui est spécial au Canada, puis ça va être à nous, puis, l’avantage, ça va être à nous.

🇧🇷 Legendas (Português)

Découverte = Descoberta (programa de TV):
- A ideia de analisar vídeos bidimensionais para produzir modelos 3D digitais está criando uma pequena revolução no mundo dos esportes. Por exemplo, no mergulho.

Aaron Dziver (Treinador: Mergulho no Canadá):
- Os braços um pouco mais ...

Découverte = Descoberta (programa de TV):
- Novembro de 2019 em menos de dois segundos, Pamela Ware gira em todas as direções. Quase todas as vezes, seu treinador vê os movimentos para corrigir.

Aaron Dziver (Treinador: Mergulho no Canadá):
- Pode esperar um pouco, depois, faça a sua fila.

Découverte = Descoberta (programa de TV):
- E se necessário há replays de vídeo.

Aaron Dziver (Treinador: Mergulho no Canadá):
- Quando olhamos, de fato, o atleta sentiu algo que o treinador, talvez, tenha perdido, então com base nessa informação, podemos modificar um pouco a correção. Acontece. Os treinadores não são perfeitos!

Découverte = Descoberta (programa de TV):
- Perfeito ou não, os treinadores em breve terão acesso a uma análise ultra-detalhada de cada mergulho.

Mathieu Charbonneau (biomecânico: INS Québec):
- De um vídeo que já estamos capturando, bem, tem muito mais informações lá, há respostas para nossas perguntas. Portanto, queremos obter essas informações.

“Faça as imagens falarem ...”

Découverte = Descoberta (programa de TV):
- É aqui, no Centro Esportivo do Parque Olímpico, que treinam os melhores mergulhadores do país. Para estudá-los, não há como cobri-los todos os dias com sensores.

Mathieu Charbonneau (biomecânico: INS Québec):
- O que queremos fazer é tomar medidas que chamamos de transparentes. O atleta faz suas tarefas, o treinador faz suas tarefas, tem um sistema que cuida da entrada dos dados.

Ramon Figueiredo Pessoa (doutorando em Engenharia de Software e TI pela Université du Québec, École de Technologie Supérieure (ÉTS)):
Este sistema lhe dará uma melhor compreensão do movimento do mergulhador.

Découverte = Descoberta (programa de TV):
Este sistema é desenvolvido pela École de technologie supérieure (Ramon Figueiredo Pessoa).

Rachid Aissaoui (Professor, co-orientador deste projeto):
O desafio que o Institut national des sports du Québec nos apresentou é poder usar uma câmera de vídeo, talvez de alta resolução, com alta frequência de amostragem, mas apenas uma câmera.

Découverte = Descoberta (programa de TV):
- Os pesquisadores estão apostando na inteligência artificial. E um dos pontos de partida foi este: OpenPose.

Z. Cao, T. Simon, S. Wei and Y. Sheikh, “Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields”, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 1302-1310, doi: 10.1109/CVPR.2017.143.
Estimativa de pose 2D multi-pessoa em tempo real usando campos de afinidade de peças. IEEE Transactions on Pattern Analysis and Machine Intelligence. Julho de 2019 DOI: 10.1109/tpami.2019.2929257.

Découverte = Descoberta (programa de TV):
Porque já existem ferramentas para ver o esqueleto humano em ação em vídeos. Mas, via de regra, as pessoas estão com os pés no chão. Quando um mergulhador se enrola, gira a toda velocidade ou, pior, com a cabeça baixa, o computador o perde de vista.

Rachid Aissaoui (Professor, co-orientador deste projeto):
- Usamos um software existente, chamado OpenPose, no início, para ter um esqueleto mínimo. E, obviamente, isso não funciona. Ele desaparece, porque não foi treinado em posturas como as de mergulho (saltos ornamentais). Então vamos treiná-lo, vamos mudar um pouco a arquitetura desse “OpenPose” para treiná-lo em posturas que ele nunca viu.

Découverte = Descoberta (programa de TV):
- O primeiro passo é distinguir o mergulhador de interferência, como a multidão, ou outro mergulhador.
- O computador deve então avaliar onde estão a cabeça, ombros, quadris, mãos, pernas e, em seguida, ligá-los.

Ramon Figueiredo Pessoa (doutorando em Engenharia de Software e TI pela Université du Québec, École de Technologie Supérieure (ÉTS)):
Esses quadros são selecionados automaticamente (Those frames are selected automatically).

Découverte = Descoberta (programa de TV):
- Além do mergulhador, este projeto também quer identificar o trampolim durante o salto e os respingos ao entrar na água.

Mathieu Charbonneau (biomecânico: INS Québec):
- Podemos quantificar a altura da decolagem, a deflexão do trampolim, por exemplo, como ele usa a mola. Então, a partir daí, a altura máxima. Se, novamente, o atleta fizer rotações, então podemos medir essa velocidade de rotação durante a execução. E também podemos ter outras posições importantes como a altura da abertura e a postura do atleta ao entrar na água.

Découverte = Descoberta (programa de TV):
- O objetivo é que as informações fiquem disponíveis na tela, fora d’água. Também podemos compilá-los ao longo das semanas para ver se o treinamento está dando frutos.

Aaron Dziver (Treinador: Mergulho no Canadá):
- Então, estamos muito, muito animados porque ele pode fornecer informações muito mais precisas do que baseadas nas leis físicas. Não podemos estar errados com isso. Então, eu acho que vamos ter algo que seja especial no Canadá, então será nosso, então, a vantagem, será nosso.

SPIN 2022 Conference Presentation (Results of the Ph.D. Research in December 2022)