Immersion

Cet axe vise à mieux saisir l’influence du paradigme de l’immersion sur la pratique de projets d’art numérique et la construction des dimensions narrative. Comment représenter une histoire en format 360° ? Comment conjuguer la représentation de l’espace en relation avec un récit ? En suivant les logiques de création d’univers ou « world building », quelles sont les logiques permettant de transposer un même contenu sur de multiples plateformes en suivant une approche transmédia ? Quelles sont les transformations de sens dans le passage d’une forme de virtualité à une autre?

Concrètement, la problématique de l’immersion s’incarne sous la forme de sous-axes de recherche permettant d’établir des liens entre pratique et théorie.

Construction d’univers (World Building)

L’approche dite World Building soutient une pratique industrielle de transmedia storytelling permettant de conférer notamment à des franchises, des téléséries, des films et des jeux vidéo, une certaine unité narrative, esthétique et formelle pour la distribution sur une grande variété de plateformes (Boni, 2017). Cependant, à la lumière de l’étude des ouvrages portant sur la question, cette approche peut servir de modèle pour étudier une grande variété de pratiques hétéroclites : de la pratique littéraire en passant par l’exploration futuriste de scénarios architecturaux, jusqu’à la production de projets en réalité élargie (XR) ou Cross Reality[1]. Le fondement du cadre conceptuel du World Building permet d’étudier la relation complexe entre le primary world (le monde réel) et le secondary world (le monde imaginaire). Le monde imaginaire existe en parallèle du monde réel (Wolf, 2014). De même, tel que décrit par la praticienne Monica Bielskyte dans le cadre d’une critique des médias traditionnels: « We have to see the world, not something that we see in a frame, but really as a world that would actually exist as a parallel world to our physical world » (Bielskyte, 2019). En ce sens, selon Mark J.P. Wolf, le World building consiste à concevoir des univers secondaires, inspirés du monde réel, qui établissent les conditions de possibilités d’émergence du récit. Wolf utilise le terme « subcreation » dont il a emprunté l’usage à J.R.R. Tolkien et il mentionne que le terme « world » peut être imaginé sous une forme géographique, mais aussi sous une forme expérientielle. Ainsi, tout ce qui peut être vécu comme expérience par des personnages au sein de l’univers fictif s’y retrouve, et il en va de même quant aux événements qui orientent leur vie (Breuleux, et al., 2019).

Environnements narratifs et storytelling

Globalement, comment raconter une ou plusieurs histoires en format 360° ? La narrativité, en contexte immersif, se construit sous la forme d’environnements. Henry Jenkins utilise le terme architecture narrative ou environnements narratifs. Penser les projets sous la forme d’environnement permet leur transposition sur de multiples plateformes de diffusion en suivant des approches transmedia, « spreadable medias » (Jenkins, 2013), « remediation » (Bolter et Grusin, 2000) ou « intermedia » (Ryan, 2010).

Environnements immersifs d’archives documentaires

Initié lors d’un panel conjoint avec William Uricchio dans le cadre d’une activité de médiation organisée par le Festival du Nouveau Cinéma  ce sujet de recherche consiste à mieux comprendre l’influence de la spatialisation sur la transmission de l’information documentaire. Comment la notion de storytelling est-elle transformée par l’usage de la réalité virtuelle ? Le colloque « Virtually There » regroupant des praticiens des milieux des médias, du cinéma et des arts numériques en constitue un exemple. Il est possible de retrouver une synthèse des différentes tendances et enjeux sur le plan de la recherche dans un ouvrage intitulé « Journalisme et réalité virtuelle : émotion ou information » par Émilie Ropert Dupont (2017).

Environnements de visualisation immersive du son et de données

Ce sujet repose sur la transposition du concept de visualisation artistique tel que définie par Lev Manovich (in Paul, 2016) dans un contexte immersif (Thompson, Kuchera-Morin, Novak, Overholt et al, 2009). Le dispositif de diffusion et le système des informations en temps réel exercent une influence sur la construction de l’expérience (Rokeby, 1998). L’œuvre est réalisée à l’intérieur d’un environnement partagé dans un contexte où les sons deviennent des objets volumétriques (Wozniewski, Settel, et Cooperstock, 2006). Le dispositif de diffusion est partie intégrante du contenu artistique. La dimension narrative du projet réside dans la visualisation du phénomène sonore sous une forme expérientielle, c’est-à-dire en exploitant les dimensions artistiques, ludiques et participatives du médium numérique.

Environnements d’ambiances

La notion d’ambiance est impalpable et influence notre perception du monde tout en étant invisible. Elle constitue surtout un domaine de recherche dans les champs des études de l’architecture et de l’urbanisme (McCullough, 2013). Celle-ci concerne les différentes formes de design de l’environnement permettant d’influencer la perception sensorielle. Il est également question de la conception de dispositifs de diffusion (Breuleux, 2019). Deux réseaux de recherche s’intéressent à ces questions et publient de nombreuses études et actes de colloques sur le sujet : le réseau des ambiances et l’European Architectural Envisioning Architecture conference (EAEA). Dans le contexte du laboratoire, la notion d’ambiance permet de problématiser théoriquement les questions relatives à la sensorialité des environnements. Elle permet de concevoir des cadres méthodologiques interdisciplinaires permettant de tenir compte des perceptions singulières des individus. À ce sujet, voir le paradoxe de l’immersion sensorielle (Breuleux, 2019). Citons aussi, à titre d’exemple, les recherches de Barbara Piga (Piga, Rainiso et al. 2019), portant sur les perceptions de l’environnement architectural en milieu de réalité virtuelle.

Avatars et personnages virtuels

Le sujet des personnages virtuels tels que les avatars, « vactors », « digital doubles », « synthespians » (Kennedy, 2019) est au cœur des recherches pour la conception d’entités artificielles permettant de modéliser des personnages et simuler des comportements. Le sujet des avatars et personnages virtuels porte sur les caractéristiques esthétiques, les systèmes narratifs ou architectures d’émotion ainsi que les relations entre ces personnages et leurs environnements. La recherche, dans le domaine de la création de personnages virtuels ou animés, requiert des connaissances provenant des domaines de la psychologie, des sciences cognitives et de l’intelligence artificielle. Tout personnage – à la fois réaliste ou caricatural – projette une certaine image associée à un ensemble de caractéristiques visuelles et sociales. Sherry Turkle a montré, dans ses essais, comment les individus s’identifient à leurs avatars et comment ceux-ci, loin de constituer des miroirs identitaires, sont plutôt des reflets des fantasmes et des jeux de personnification. Dans le domaine des effets visuels, le phénomène de l’« Uncanny Valley » (Mori, 1970, 2012) provenant de recherches en robotique a démontré l’influence du niveau de réalisme d’un personnage sur l’attraction ou la répulsion du spectateur envers celui-ci. Il existe toute une littérature portant sur les différentes caractéristiques de création de personnages permettant l’empathie chez les spectateurs. Dans le domaine du jeu vidéo et du numérique, les algorithmes de personnalisation laissent entrevoir la création d’avatars de plus en plus complexes, dépassant le simple ajout de caractéristiques physiques pour littéralement fusionner, au niveau de la simulation comportementale, avec les préférences des individus. Par l’usage du temps réel, mentionnons également tout le champ des marionnettes numériques ou « Digital puppetry » (Giesen, 2018) en relation avec des univers virtuels.

Références

Bernard, A., & Andrieu, B. (2014). Manifeste des arts immersifs: Presses Universitaires de Nancy.

Bolter, J. D. (2019). The digital plenitude : the decline of elite culture and the rise of new media. Cambridge, Massachusetts: The MIT Press.

Boni, Marta, ed. World Building: Transmedia, Fans, Industries. Amsterdam University Press, 2017.

Breuleux, Y., de Coninck, B., & Therrien, S. (2019). The World Building Framework for Immersive Storytelling Projects. In SHS Web of Conferences (Vol. 64, p. 00003). EDP Sciences.

Breuleux, Y. (2019) «Le dispositif de diffusion comme instrument générateur d’expériences immersives » in: Larrue, J. M., Pisano, G., & Quéinnec, J. P. (2019). Dispositifs sonores: corps, scènes, atmosphères. Presses de l’Université de Montréal.

Breuleux, Y. (2019). Le paradoxe de l’immersion sensorielle. Études digitales: Classique Garnier 2017(4), 91-113.

Monika Bielskyte, The New Storytellers II: World-building: Best Practices for Creating Story Worlds: Conférence en ligne: [ https://youtu.be/jtr0AZK64Do?t=1093], page consultée le 6 février 2019.

Calleja, G. (2011). In-game : from immersion to incorporation. Cambridge, Mass.: MIT Press.

Dallet, J.-M. (2013). Cinéma, interactivité et société. Bruxelles: VDMC.

Ropert Dupont, É. (2017). Journalisme et réalite virtuelle : émotion ou information? Paris: L’Harmattan.

Grau, O. (2003). Virtual art : from illusion to immersion. Cambridge, Mass. ; London: MIT.

Giesen, R. (2018). Puppetry, Puppet Animation and the Digital Age. Routledge.

Huhtamo, E. (2013). Illusions in motion : media archaeology of the moving panorama and related spectacles. Cambridge Massachusetts: The MIT Press.

Jerald, J. (2016). The VR book : human-centered design for virtual realityACM books, (First edition. Ed., pp. 1 online resource (xxxiii, 599 pages)).

Kuchera-Morin, J. C. (2009, October). Using the creative process to map n dimensions: quantum information at your fingertips. In Proceedings of the seventh ACM conference on Creativity and cognition (pp. 1-2).

Larrue, J. M., Pisano, G., & Quéinnec, J. P. (Eds.). (2019). Dispositifs sonores: corps, scènes, atmosphères. Presses de l’Université de Montréal.

Jones, C. A., & Arning, B. (2006). Sensorium : embodied experience, technology, and contemporary art (1st MIT Press ed.). Cambridge, Mass.: MIT Press : The MIT List Visual Arts Center.

Kennedy, J.(2019). Acting-Centred Definitions of Vactors, Synthespians, and Digital Doubles. ISEA: Proceedings of the 25th International Symposium on Electronic Art, 2019

Lukas, S. A. (2013). The immersive worlds handbook designing theme parks and consumer spaces (pp. 1 online resource (xii, 271 pages)).

Manovich, L. (2001). The language of new media. Cambridge, Mass.: MIT Press.

Manovich, L. (2013). Software takes command : extending the language of new media. New York ; London: Bloomsbury.

McCullough, M. (2013). Ambient commons : attention in the age of embodied information. Cambridge, Massachusetts: The MIT Press.

Murray, J. H. (1997). Hamlet on the holodeck : the future of narrative in cyberspace. New York: Free Press.

Murray, J. H. (2012). Inventing the medium : principles of interaction design as a cultural practice. Cambridge, Mass.: MIT Press.

Mori, M., MacDorman, K. F., & Kageki, N. (2012). The uncanny valley [from the field]. IEEE Robotics & Automation Magazine, 19(2), 98-100.

Mori, M. (1970). The uncanny valley. Energy, 7(4), 33-35.

Navas, E., Gallagher, O., & burrough, x. (2015). The Routledge companion to remix studies. New York, NY: Routledge.

Parikka, J. (2012). What is media archaeology? Cambridge, UK ; Malden, MA: Polity Press.

Parikka, J. (2015). A geology of media. Minneapolis ; London: University of Minnesota Press.

Popper, F. (2007). From technological to virtual art. Cambridge, Mass.: MIT Press.

Potolsky, M. (2006). Mimesis. New York ; London: Routledge.

Rokeby, D. (1998). The construction of experience: Interface as content. Digital Illusion: Entertaining the future with high technology, 27, 47.

Ryan, M.-L. (1991). Possible worlds, artificial intelligence, and narrative theory. Bloomington: Indiana University Press.

Ryan, M.-L. (2001). Narrative as virtual reality : immersion and interactivity in literature and electronic media. Baltimore: Johns Hopkins University Press.

Ryan, M.-L. (2004). Narrative across media : the languages of storytelling. Lincoln: University of Nebraska Press.

Ryan, M.-L. (2006). Avatars of story. Minneapolis: University of Minnesota Press.

Ryan, M.-L., Foote, K. E., & Azaryahu, M. (2016). Narrating space/spatializing narrative : where narrative theory and geography meet. Columbus: The Ohio State University Press.

Salter, C. (2010). Entangled : technology and the transformation of performance. Cambridge, Mass.: MIT Press,.

Schaeffer, J.-M. (1999). Pourquoi la fiction? Paris: Seuil.

Thompson, J., Kuchera-Morin, J., Novak, M., Overholt, D., Putnam, L., Wakefield, G., & Smith, W. (2009). The Allobrain: An interactive, stereographic, 3D audio, immersive virtual world. International Journal of Human-Computer Studies, 67(11), 934-946.

Turner, F. (2013). The democratic surround : multimedia & American liberalism from World War II to the psychedelic sixties. Chicago ; London: The University of Chicago Press.

Youngblood, G. (1970). Expanded cinema. New York: Dutton.

Wolf, Mark JP. (2014). Building imaginary worlds: The theory and history of subcreation. Routledge.

Wozniewski, M., Settel, Z., & Cooperstock, J. R. (2006, September). A spatial interface for audio and music production. In Proceedings of the 9th International Conference on Digital Audio Effects (DAFx06), Montreal, Canada (p. 271).

The New Zealand VR/AR Association (NZVRARA). Virtual gets real. The Explosion of Cross Reality in New Zealand, report one, September 2017.