Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Projet ISN : Réalité augmentée 2013 1 Spécialité ISN Pascal Billé Projet de Ré

Projet ISN : Réalité augmentée 2013 1 Spécialité ISN Pascal Billé Projet de Réalité Augmentée Incrustation d’objets virtuels sur des vidéos en temps réels Table des matières : 1. Qu’est‐ce que la réalité augmentée ? ........................................................................... 2 A‐ Définition ............................................................................................................................. 2 B‐ Domaines d’applications ...................................................................................................... 2 C‐ Principe ................................................................................................................................ 2 2. Projet ISN – Réalité Augmentée ................................................................................... 3 A‐ Activité pédagogique proposée en projet ............................................................................. 3 B‐ Outil de développement ...................................................................................................... 4 a. Installation ........................................................................................................................... 4 b. Jeu d’instructions ................................................................................................................. 5 C‐ Les marqueurs ..................................................................................................................... 6 D‐ Le programme développé .................................................................................................... 9 3. Pistes d’évolution du projet ........................................................................................ 14 Mes expérimentations ............................................................................................................... 14 Conditions Projet Durée : 28 h Moyens  Poste informatique sous Windows  Logiciels PROCESSING Prérequis TD 1er pas en Réalité Augmentée Niveau Classe de Terminale S spécialité ISN Compétences  C1.1 Justifier dans une situation donnée, un codage numérique ou l'usage d'un format approprié, qu'un programme réalise l'action attendue...  C2.3 Développer une interface logicielle ou une interface homme-machine, un algorithme, un programme, un document ou fichier numérique... Eléments du programme  Représentation de l’information o Structuration et organisation de l’information  Algorithmes o Algorithmes simples Projet ISN : Réalité augmentée 2013 2 Spécialité ISN Pascal Billé 1. Qu’est‐ce que la réalité augmentée ? A‐ Définition La réalité augmentée désigne les différentes méthodes qui permettent d'incruster de façon réaliste des objets virtuels dans une séquence d'images. Le terme augmenté est évoqué car notre perception visuelle est modifiée par l’implémentation d’un modèle virtuel en 2D où 3D dans le monde qui nous entoure, en temps réel. B‐ Domaines d’applications Le premier exemple de réalité augmentée au cinéma daterait de 1993 par le film Jurassic Park de Steven Spielberg. Des images de synthèse représentant des dinosaures étaient ajoutées en temps réel dans le décor du parc d’attraction. D’autres grands projets cinématographiques on permit la reconnaissance de la réalité augmentée comme Le Seigneur des Anneaux ou Star Wars. Pour la petite anecdote, Georges Lucas le réalisateur de la double trilogie Star‐Wars utilisait des hamburgers et balles de ping‐pong sur fond vert afin de modéliser les vaisseaux spatiaux aux yeux des caméras. (source http://leculturographe.wordpress.com) De nos jours la réalité augmentée prend de plus en plus de place, s’essaye à tous les domaines possibles : jeux vidéo, marketing, Art, Cinéma, réseaux sociaux mais aussi assistance à la personne Exemple d’application marketing L’application permet aux utilisateurs de choisir l’un des modèles du catalogue et de le superposer, en ajustant sa taille, sur une image prise par le capteur photo de l’appareil (Smartphone). En savoir plus :  http://www.larealiteaugmentee.info  http://tpe‐realite‐augmentee.perso.sfr.fr/projetsixthsense.html C‐ Principe Les scènes réelles sont capturées par une caméra (simple webcam ou téléphone portable) et transmissent à une unité de traitement. Cependant pour faire de la réalité augmentée il faut localiser le virtuel dans le réel avec le même point de vue. Pour cela des marqueurs peuvent être placés dans la scène réelle. Ils permettent de calculer les coordonnées 3D à partir de 3 points spécifiques reconnus par le système. La difficulté du traitement informatique est alors de faire coïncider une caméra virtuelle avec la position de la caméra réelle. Projet ISN : Réalité augmentée 2013 3 Spécialité ISN Pascal Billé 2. Projet ISN – Réalité Augmentée A‐ Activité pédagogique proposée en projet Thème d’étude : Conception d’une vidéo en réalité augmentée Nature de la production finale attendue : Conception d’une vidéo en réalité augmentée générée par le logiciel Processing. Cette vidéo doit présenter une visite partielle du lycée Jean Perrin avec incrustation à partir de marqueurs d’images générées par du code. Cahier des charges : ‐ Cette vidéo doit comporter au minimum 4 marqueurs. ‐ Chaque élève doit concevoir le code d’au minimum 1 image déclenchée par 1 marqueur. ‐ Chaque élève doit fournir un document détaillé expliquant la démarche, les difficultés rencontrés, le détail et le rôle du code utilisé. ‐ Une cohérence du choix des images vis‐à‐vis de la production demandée est exigée. Projet ISN : Réalité augmentée 2013 4 Spécialité ISN Pascal Billé B‐ Outil de développement Ce projet utilise le logiciel Processing : C'est un langage de programmation et un environnement de développement graphique. Son code est un dérivé de Java. Les programmes réalisés avec Processing peuvent être lus par les navigateurs internet équipés du plug‐in java, mais aussi sous forme d'applications indépendantes pour Windows, Linux ou mac (en réalité n'importe quelle machine disposant d'une machine virtuelle Java). ainsi que les librairies suivantes : • ARToolkit nécessaire pour la reconnaissance de marker • Java …. • Opengl …. • Gsvideo nécessaire à la capture et l'affichage d'un flux vidéo a. Installation Installer Processing‐1.5.1 (uniquement cette version et non la dernière qui ne fonctionne pas avec les fichiers donnés) et la webcam extérieure (dans le cas où vous rajoutez une webcam). 1) Il faut rajouter des librairies d’Artoolkit, pour cela télécharger : Le nyar4psg‐1.1.6 qui se trouve sur ce site : http://es.sourceforge.jp/projects/nyartoolkit/downloads/52564/nyar4psg‐1.1.6.zip/ Le GSVideo, sur le site : http://sourceforge.net/projects/gsvideo/files/gsvideo/1.0/GSVideo‐1.0.0‐ windows.zip/download/ ou récupérer les librairies NyAR4psg et GSVidéo dans la répertoire « librairies » 2) Aller dans C:\Program Files\processing‐1.5.1\modes\java\libraries et coller. Projet ISN : Réalité augmentée 2013 5 Spécialité ISN Pascal Billé 3) Renommer le dossier « nyar4psg‐1.1.6 » en « NyAR4psg ». 4) Vérifier que NyAR4psg et GSvideo soit bien dans la librairie de Processing. b. Jeu d’instructions Le programme utilise un certain nombre de fonctions dont certaines reviennent assez souvent :  import : permet l'importation de librairie  void : indique que la fonction ne renvoie aucune valeur  printIn : affiche dans la zone de texte l'évolution d'une, ou plusieurs variables  text : fonction d'affichage de texte  loadImage : fonction de chargement d'une image (appelle une image)  fill (R,G,B) : permet le changement de couleur d'une fonction telle que « text » Voir pour exemple la description d’un programme gérant …. Dossier 2‐TD Premiers pas Projet ISN : Réalité augmentée 2013 6 Spécialité ISN Pascal Billé C‐ Les marqueurs Il faut créer ou récupérer un pattern au format .gif pour le soumettre à la détection de la Webcam (vous trouverez un nombre important de .gif associé à des .patt dans le dossier « marqueur ») En premier lieu suivre l’URL http://flash.tarotaro.org/blog/2008/12/14/artoolkit-marker- generator-online-released/ ( ctrl+clic gauche pour ouvrir l'URL) Cliquer sur le lien présent au point n°2 « ARToolkit Marker Generator Online » http://flash.tarotaro.org/ar/MarkerGeneratorOnline.swf (ou suivre le lien précédent). Projet ISN : Réalité augmentée 2013 7 Spécialité ISN Pascal Billé Une fenêtre flash se lance. Cliquer sur « Autoriser » afin que la Webcam ait accès à la page flash. Des latences peuvent survenir lorsque cette fenêtre est ouverte, il est possible de définir la mémoire allouée en faisant un clic droit sur la partie grisée et en choisissant « paramètre ». Projet ISN : Réalité augmentée 2013 8 Spécialité ISN Pascal Billé Paramétrage du pattern Régler « Marker Segments » sur la précision désiré (4x4 faible précision, 64x64 plus grande précision), le chiffre définissant le nombre de pixel. Une fois le pattern détecté, c'est‐à‐dire entouré de rouge, cliquez sur « GetPattern », le carré « Preview Marker » affiche la reconnaissance du marker. Si elle n’est pas satisfaisante, il est possible de régler la détection en jouant sur le curseur « Marker Size ». Enregistrer le fichier .pat dans le répertoire « data » en cliquant sur « save » et le renommer en .patt Le fichier .gif doit exclusivement être composé de noir et de blanc, réaliser sous un éditeur graphique (paint, photofiltre, gimp,…), les dimensions importent peu. Projet ISN : Réalité augmentée 2013 9 Spécialité ISN Pascal Billé D‐ Le programme développé Description du fichier « FinalCode » - Dossier : 3-Projet ISN L’objet affiché à partir du marqueur 1, s’est construit à partir d’images nommées néon 1, 2 et 3 crées sur Photoshop le clignotement s’effectue de façon aléatoire grâce à la variable nx (si nx n’est pas égal à 2 le néon est éteint) : beginShape(QUADS); if (nx==2){ texture(neon2); } else{ texture(neon1); } vertex(‐1, 3, ‐3,150,700); vertex(‐1, 3, 3,950,700); vertex(‐1, ‐3, 3,950,150); vertex(‐1, ‐3, ‐3,150,150); endShape(); if(nx==2) { ny=ny+1; ny: variable qui augmente constamment if (ny==nz) sin y est égal à un nombre aléatoire nz, nx est redéfini, c’est ainsi que { nz produit cet effet de clignotement du néon avec un tps d’affichage nx = int(random (0,5)); aléatoire (nx nbre entier choisi entre 0 et 5) ny=0; nz= int(random(2,20)); nz: entier choisi entre 0 et 20 } } else même principe qu’au dessus avec des paramètres modifiés. { ny=ny+1; if (ny==nz) { nx = int(random (1,4)); ny=1; nz= int(random(5,10)); } } Le clignotement du néon s’effectue de façon aléatoire, on peut régler la probabilité de clignotement en modifiant les paramètres random() de nx et de nz. Projet ISN : Réalité augmentée 2013 10 Spécialité ISN Pascal Billé L’objet affiché à partir du marqueur 2, représente un projecteur cinématographique se déployant d’une boîte et projetant plusieurs images (décompte avant projection) sur pression d’un interrupteur en réalité augmentée void dessin(){ Déclaration d’une fonction lights(); Pour le rendu 3D uploads/Philosophie/ 1375-projet-realite-augmentee-isn.pdf