Il corpo come elemento centrale dei fenomeni conoscitivi e interattivi
Introduzione
L’impostazione occidentale secondo cui l’intelligenza si riscontra nelle facoltà alte e astratte della mente, ha dovuto ricredersi e cercare nelle strutture più arcaiche del corpo la risposta a fenomeni di primaria importanza per la sopravvivenza della specie. La difficoltà dell’individuo nell’adattamento all’avvento dell’era informatica sembra poter incontrare in questi ultimi anni, un momento di tregua per il suo assestamento. L’uso dei media ha accentuato la dicotomia corpo-mente, dalla parola alla scrittura ci si proietta fuori della fisicità incarnata, per eliminarla quasi totalmente con radio, tv o chat-lines. Forse non è un caso se sul fronte della multimedialità, in ambito artistico, si aprono nuove ricerche che tendono a recuperare la corporeità in tutta la sua “semplicità”, eliminando il più possibile l’apparato strumentale da indossare. Un esempio significativo è il lavoro di Monika Fleishmann e Wolfgang Strauss svolto all’interno del progetto eRENA (electronic Arenas for Culture Arte and Entertainment), sviluppato dal gruppo di lavoro MARS (Media Art Research Study) in Germania, che propone un ambiente sensibile, il Mixed Reality stage, in grado di offrire un nuovo “framework” per la comunicazione e l’interazione.
Il loro approccio è teso al recupero del corpo, come strumento primario di percezione in grado di porre in contatto le persone con se stesse, gli altri, il mondo esterno: “It is our goal to bring persons “into contact” with the world, with each other and with themselves. We are therefore on the track of man’s lost senses in a bid to restore these with the aid of technology” (1).
1 – Corpo e conoscenza
Il rapporto fra oggetto e soggetto della conoscenza, dopo una lunga evoluzione, è approdato, per molti, ad una sorta di “costruttivismo interattivo” (2) che considera la conoscenza come una sorta di riflesso dell’oggetto filtrato dalle caratteristiche individuali e specifiche del soggetto, manifestando sia la continua coevoluzione tra specie e ambiente, sia la costante interazione fra individuo e mondo. Se si parte dal presupposto che le esperienze si attuano nell’alveo neurosensoriale, psicofisico, motorio (accolte ed elaborate in quello razionale), il sistema conoscitivo ha due modalità essenziali di funzionamento definibili come “mappe naturali” e “mappe culturali”. La prima, sia sotto il profilo filogenetico che ontogenetico, è la conoscenza tacita, immediata, attuata dal corpo nella sua struttura e nelle sue funzioni biologiche. Corrisponde a mappe antiche che dall’evoluzione sono state portate a livello profondo e assimilate dalla biologia dell’individuo. La seconda è posteriore allo sviluppo dell’individuo, è più recente sotto il profilo evolutivo e corrisponde alla conoscenza esplicita, attuata nelle forme della razionalità. Le mappe, in questo caso, sono superficiali e costruite appositamente a livello razionale, per essere richiamate in caso di necessità. L’attività principale di ogni essere vivente è il mantenimento della propria organizzazione strutturale e funzionale, rispettando la propria integrità compatibilmente con i vincoli esterni e interni. Questa funzione è legata indissolubilmente all’attività cognitiva e coincide proprio coi livelli più profondi, costituendo poi la base per i livelli più elevati. La maggior parte delle conoscenze quindi sono espresse nella struttura stessa del corpo ed è il corpo che, con le sue capacità di conoscenza rapida, ci permette di salvarci in caso di pericolo, mentre la conoscenza razionale, impegnata nell’analisi razionale e intenzionale, ci sarebbe fatale. Il lunghissimo processo di stretta coevoluzione tra creature e ambiente ha, infatti, dotato le prime di categorie percettive e mentali compatibili con la loro sopravvivenza, richiamabili immediatamente alla mente. Ed è proprio quest’organizzazione pragmatica della nostra conoscenza-esperienza che ci permette di vivere in modo “intelligente” la vita di ogni giorno e che è assai difficile trasferire in programmi formali di intelligenza artificiale (i.a.). Il nostro corpo, insomma, costituisce la nostra primaria interfaccia col mondo: attraverso i sensi esperiamo ciò che ci circonda, costruiamo la nostra idea di realtà. L’esperienza sensoriale, è guidata da predisposizioni innate, frutto della deriva filogenetica. Come accennato sopra, è il nostro sistema cognitivo che guida la percezione, connettendo il sistema nervoso con le superfici sensoriali e motorie, nel rispetto dell’organizzazione interna dell’organismo. Il mondo non è qualcosa che sta “là fuori” e che tentiamo di decodificare, piuttosto una realtà che co-costituiamo stringendo legami interattivi tra ciò che siamo e ciò che esiste fuori di noi. Tra il sistema nervoso (sistema di controllo) e i percettori del corpo (sistemi controllati), si crea un continuo feedback che sancisce un’unione inestricabile tra corpo e mente: “Non posso dire che io vedo l’azzurro del cielo nel senso in cui dico che comprendo un libro o che decido di dedicare la mia vita alla matematica. La mia percezione, anche vista dall’interno, esprime una situazione data: vedo un azzurro perché sono sensibile ai colori..cosicché se volessi tradurre esattamente l’esperienza percettiva, dovrei dire che si percepisce in me e non che io percepisco.” (3) La storia della scienza occidentale è un lungo tentativo di trasferire la conoscenza biologica incarnata nel corpo in razionalità astratta e disincarnata; anche se questo è stato frutto di grandi successi scientifici, si sono create quelle abitudini di pensiero come l’antropocentrismo, il culto della razionalità, il finalismo dell’azione, che hanno radicato l’opposizione tra il “noi” e “gli altri”, tra il “noi” e la “natura”, facendoci perdere di vista che siamo una parte di un sistema infinito, spogliandoci quindi del senso del “sacro” (4). L’uso dei media ha accentuato la dicotomia corpo-mente, basti pensare alla parola alla scrittura e alla quasi totale eliminazione della fisicità proposta dalla radio, dalla tv o dalle chat-lines. Del resto possiamo anche considerare i vestiti o i profumi, come interfacce per mascherare una corporeità sfacciata e invadente. Tuttavia le ricerche nell’ambito dell’i.a. o le tecnologie elettroniche come la realtà virtuale hanno portato alla ribalta l’attenzione per il corpo, vissuto indubbiamente con ambiguità, tra disagio e riscoperta, cui si aggiunge un recupero dell’espressioni più ancestrali dell’uomo come il mito e la narrazione. Attraverso la narrazione l’uomo si immerge in un contesto di perturbazioni, di storie e di storie di storie, che diventano ricordi e in questo modo contribuiscono al ritrovo dell’immagine del “sé”, unificando i nostri “io”impegnati nelle situazioni più disparate. Ciò che tocca le corde più intime di ognuno, che si “infila” tra i nostri neuroni, coscienza, cuore, spirito o come si voglia chiamare, forse è proprio la sensazione di “senso di appartenenza” ad un sistema di cui il genere umano è solo una parte. Negli ultimi anni sono state rispolverate dottrine antiche o dimenticate, come la magia o la psicomagia, i riti e cerimoniali legati a civiltà scomparse, le filosofie orientali, portatrici di procedimenti, scopi, etiche diverse, che articolano in modo altrettanto differente il rapporto tra reale immaginario e simbolico proponendo in primo piano l’esperienza sensoriale. Se il corpo rappresenta la nostra identità più concreta e immediata, la sua riscoperta potrebbe essere anche una reazione ad un crescente spaesamento dato dalle previsioni di un futuro sempre meno tangibile, in cui rischieremmo di perdere un’idea del “sé” alla quale siamo ancora troppo legati. Proprio attraverso la realtà virtuale, viviamo un’ambigua esperienza percettiva, che in un certo modo riflette la crisi della nostra corporeità. Se da una parte essa persegue un ritorno alla fisicità della sensazione, dall’altra impone, infatti, la distanza da questa attraverso la sua rappresentazione. Si potrebbe obiettare sostenendo che anche i nostri sensi offrono una “rappresentazione” della sensazione, nel cervello non ci sono certo alberi o bicchieri, ma la realtà virtuale alla fine si sostanzia come interposizione di altre interfacce a quelle fisiologiche, ciò che percepiremo sarà la rappresentazione di una rappresentazione. Inoltre durante il “viaggio” digitale l’utente si trova nella situazione di osservatore e osservato, il suo “io” totale,insomma, può visualizzare una delle sue proiezioni in azione. Questo fenomeno, che non avviene nella realtà “reale”, se da un lato produce processi conoscitivi inediti, dall’altro provoca un certo disorientamento. E’ l’esperienza che si definisce corpo disseminato o diffuso e che implica problematiche relative all’identità, all’autopercezione e alla percezione. Se l’identità è legata alla continuità e alla coerenza, al mantenere costanti le modalità di essere-apparire sia dal punto di vista fisico che mentale, in questo modo si verrebbero a creare più identità che prenderebbero vita in spazi e luoghi “differenti”. Con la telerobotica, i mondi virtuali, le protesi indossabili o manipolabili, dobbiamo ammettere la presenza di più realtà e di più proiezioni di altri corpi in concomitanza con la realtà “di tutti i giorni”, disseminati una molteplicità di piani che possiamo richiamare attivando dei comandi.
Questo non è sicuramente un fatto così semplice da accettare, non tanto da un punto di vista razionale, quanto istintivo-biologico. Il nostro corpo arricchito da protesi tecnologiche non corrisponderebbe più a quei meccanismi automatici, a quei bisogni o istinti inconsci che abbiamo come retaggio di una lunga coevoluzione con un ambiente decisamente meno “mediatizzato”. Ed è forse nella repressione di alcuni istinti, più ancestrali, e nella stimolazione di nuovi, non ancora ben individuati, che si sostanzia il disagio diffuso nei confronti di una situazione in continuo cambiamento. Nella sua rapida corsa, l’evoluzione culturale, non permette di creare un rapporto con l’ambiente di “assestamento”, dato dal percorso naturale, che procede per tentativi ed errori e che porta alla nuova configurazione strutturale dell’organismo.
Forse non è un caso che sul fronte della multimedialità, si aprano nuove ricerche che tendono a concepire il corpo impegnato nell’interazione con ambienti “sensibili” (dotati di sensori e perciò interattivi), nella sua “naturalezza”, libero da protesi, da una strumentazione che può avere effetti inibitori o ingombranti. Così anche gli spazi, intesi come spazi fisici arricchiti di elementi tecnologici, tendono a recuperare una valenza di aggregazione sociale e si propongono di scoprire se e come i nuovi media possono creare esperienze condivisibili.
2 – Corpo e tecnologie: Mixed Reality stage
2.1 Dalla realtà virtuale (VR) alla Mixed Reality (MR)
Una ricerca decisamente interessante che prende in considerazione il corpo come strumento primario di “conscenza”, è ravvisabile nella messa a punto di un ambiente immersivo e interattivo denominatoMixed Realilty stage sviluppato in questi anni da Monika Fleischmann e Wolfgang Strauss (5), all’interno del progetto eRENA (6). Per capire la portata di questo studio è opportuno fare un passo indietro.
Una delle definizioni più comune di Realtà Virtuale (VR) è quella di “un’esperienza nella quale le persone sono circondate da una rappresentazione tridimensionale generata da un computer ed hanno la possibilità di muoversi in questo mondo, vederlo da più angolazioni, maneggiarlo e riadattarlo” (7) . Per eseguire queste operazioni è necessario essere muniti di casco dotato di visori HMD e di un data glove. Il punto fondamentale diventa quindi quello dell'”esserci”, dell’immersione totale per mezzo di un apparato tecnologico che stimola i sensi al fine di consentirci di vivere quest’esperienza. In realtà la percezione dello spazio e della realtà altra da visitare sono affidate principalmente al senso della vista, tanto che nelle sue prime applicazioni la fruizione di un ambiente VR non implicava la rappresentazione di un avatar, ma si concentrava sulla riproduzione in prima persona della visione. Successivamente si intuisce la necessità di rendere lo spettatore parte integrante di questo mondo altro, orientandosi verso l’introduzione della mano virtuale (virtual hand) che, senza compromettere il paradigma della visione in prima persona, aiuta l’utente a definire meglio le proprie coordinate e a prendere in considerazione l’idea del senso del corpo come strumento di conoscenza più profonda. Infine si approda alla vera e propria introduzione del corpo avatar (8) contemporaneamente all’idea di introdurre più partecipanti in grado di condividere la stessa esperienza. L’avvento degli ambienti multi-user è una svolta importante che definisce un nuovo approccio nella descrizione e percezione di ambienti virtuali, spostando il punto focale sull’interazione fra i diversi partecipanti. La rappresentazione del corpo virtuale (avatar) è indispensabile per porre l’utente come parte integrante dello spazio tridimensionale e permettere contemporaneamente la monitorazione della situazione globale. La visione quindi non è più impostata sulla prima persona, ma sulla terza.
Negli ultimi dieci anni si sono sviluppati alcune tipologie di ambienti immersivi che permettono di visitare ed esplorare ambienti, sempre tridimensionali, riducendo però la strumentazione e permettendo al visitatore di muoversi liberamente nello spazio.
E’ il caso per esempio dei Cave (9), (il Cave allude alla caverna della Repubblica di Platone, dove il filosofo esplorava le idee della percezione, realtà e illusione rifacendosi all’analogia delle ombre date dalla figura umana contro alla parete,come uniche basi di conoscenza per esplorare il significato degli oggetti reali) (10), stanze in genere di 3mX3mX3m con retroproiezioni su tre pareti e proiezione dal basso per il pavimento. Il fruitore è libero di muoversi nello spazio e, attraverso occhiali stereoscopici, può immergersi in quest’ambiente che aggiorna continuamente la prospettiva tramite sensori elettromagnetici di campo, accrescendo l’effetto di immersione grazie ad un sistema sonoro dislocato. Gli occhiali però se alterano ciò che è visto sullo schermo, non alterano ciò che sta nella stanza (cose, persone).
L’esigenza di dare la massima libertà motoria ed espressiva al corpo ha visto affermarsi una tipologia di ambiente immersivo denominata “Mixed Reality” (MR).
Il termine è usato comunemente per riferirsi ad ambienti che combinano oggetti reali e virtuali con rappresentazioni visive dello spazio reale e virtuale. Il paradigma di base è quello di uno spazio informazionale che unisce elementi dell’informazione fisica e digitale in gradi differenti di spazialità. Per comprendere questo termine sono necessari altri concetti come quello di augmented reality, augmented virtuality tangible bits e mixed reality boundaries (11), che caratterizzano le diverse tipologie di ambienti MR.
Per augmented reality s’intendono quelle applicazioni il cui scopo è incrementare la percezione visiva dello spazio fisico con immagini prese dallo spazio virtuale. Quest’ultime possono essere introdotte sia attraverso display HDM, sia in remoto, visualizzate cioè da un display video,integrato con informazioni digitali.
Lo scopo dell’utilizzo di augmented virtuality è quello di incorporare immagini attuali ed eventi dal mondo reale in quello virtuale. Un esempio potrebbe essere quello di “incollare” i visi degli utenti su quello dei loro avatar nella rappresentazione 3D.
L’approccio dei tangible bits consiste nella possibilità di afferrare oggetti fisici chiamati phicons per interagire con informazioni digitali, per esempio muovendo modelli fisici su uno schermo (table top), si può avere accesso ad una mappa digitale che è proiettata sopra di essi (come esempio vedi l’installazione “Cibercity” (12) dove è possibile esplorare una città virtuale attraverso un muro di proiezioni 3D, per mezzo del movimento di un dito virtuale, virtual finger, sulle vie di una mappa proiettata su uno schermo).
Per quanto riguarda invece l’orientamento del mixed reality boundaries, si tratta di tenere distinti, ma adiacenti gli spazi fisici e virtuali, creando un confine trasparente fra essi. Gli occupanti dello spazio fisico possono vedere che esiste una frontiera per accedere allo spazio virtuale e comunicare con chi lo occupa (è il caso degli avatar in un ambiente virtuale collaborativo). Il fatto che sia compresa una retroazione delle azioni virtuali in quelle fisiche, porta questo approccio a dare un uguale peso alla dimensione fisica e virtuale e lo si può considerare come un unico grande ambiente nel quale gli spazi sono separati da soglie simili a porte o finestre.
Nell’ambito di ambienti MR è dunque possibile crearne diverse tipologie che possono essere classificate secondo l’incremento dell’influenza dei componenti virtuali, partendo da quelli non immersivi basati su video displays integrati con immagini virtuali a quelli completamente immersivi basati su proiezioni virtuali e/o uso di display HDM. Questi diversi approcci si basano sull’idea comune di realizzare ambienti spaziali dove i partecipanti possono interagire con informazioni fisiche e digitali integrate in diversi modi.
2.2 Mixed Reality stage
L’approccio di Monika Fleischmann e Wolfgang Strauss (F&S) è definito Mixed Reality stage e corrisponde all’idea di una “stanza letteralmente riempita di dati”, “a room filled whit data” (13). Questa “stanza” è la piattaforma nella quale sia ha l’interazione fisica, ma i dati coi quali si interagisce sono virtuali e risiedono in uno spazio informazionale. E’ pertanto possibile definire questo ambiente, come uno spazio informazionale organizzato spazialmente, nel quale i dati sono attinti dai movimenti dei singoli utenti, che avvengono contemporaneamente nello spazio reale e virtuale (si consideri ogni spettatore connesso col suo avatar). Questa particolare disposizione di reale e virtuale diviene il mezzo per creare una situazione in grado di connettere fra loro i partecipanti, producendo un nuovo framework per una diversa tipologia comunicativa e interattiva. Il loro approccio infatti è teso al recupero del corpo, come strumento primario di percezione in grado di porre in contatto le persone con se stesse, gli altri, il mondo esterno: “It is our goal to bring persons “into contact” with the world, with each other and with themselves. We are therefore on the track of man’s lost senses in a bid to restore these with the aid of technology” (14).
Nel MR stage, lo spazio virtuale è realizzato come un campo interattivo di suoni provocati dai movimenti degli utenti ed emessi nello spazio fisico. L’impressione che se ne ha e’ quella di un campo sonoro invisibile esistente nello spazio fisico, piuttosto che in quello virtuale e rivelato attraverso le azioni dei partecipanti.
Virtuale e reale risultano connessi a tre livelli complementari:
Linkando le manifestazioni audio visive dello spazio fisico e virtuale.
Linkando gli spazi fisico e virtuale, attraverso movimenti degli utenti nello spazio.
Linkando la visualizzazione (sul piano virtuale) dell’esperienza del singolo (nello spazio fisico) con le esperienze degli altri partecipanti.
Questo paradigma si differenzia da quelli già esaminati di augmented reality e augmented virtuality, poiché i due piani operano unicamente con immagini piane, (fruibili senza l’ausilio di occhiali stereoscopici) sovrapponendo immagini degli spazi reale e virtuale con un display video.
E’ diverso anche dal mixed reality boundary perché reale e virtuale non sono distinti e adiacenti, ma fusi. Anzi, è proprio il fatto di connettere reale e virtuale attraverso i movimenti del corpo, che permette di comprendere come il movimento sia un mezzo essenziale di percezione dello spazio fisico. Inoltre, per dare la possibilità di percepire lo spazio virtuale con la stessa intensità con cui si esperisce lo spazio fisico, la gestualità diviene la condizione di base per cogliere le manifestazioni dello spazio virtuale. I movimenti del corpo, quindi, determinano le tracce audio visive (tracce avatar) che possono essere interpretate come l’esternazione dell’esperienza degli utenti nella situazione condivisa. I processi mentali individuali, come l’interpretazione o l’immaginazione, sono esteriorizzati e connessi alla percezione di una realtà costruita congiuntamente agli altri. Ciò che si produce alla fine sarà una nuova realtà di percezione, da intendersi come un nuovo paradigma (framework) per una comunicazione di differenti e individuali realtà della stessa situazione, la situazione delle “realtà mixate” (MR stage).
Il sistema hardware e software che ne sta alla base è chiamato e-MUSE (electronic multi user stage environnement), un sistema complesso composto da tre parti principali, un driver per l’interfaccia esterna, un driver multi-user e un browser VRLM. Per cogliere i movimenti degli utenti si utilizza in sistema di visione composto da una telecamera (sistema di video tracking) che “legge” i contorni del corpo dei partecipanti (differenza dal bianco) e passa questi dati al computer che regola l’immagine virtuale, al fine di aggiornare in tempo reale le tracce avatar (posizione, velocità di spostamento, ecc.)
Il sistema di visione e’ in grado di monitorare la forma, la posizione e la direzione di cinque persone in tempo reale ed e’ in grado di adattarsi con sufficiente elasticità alle diverse condizioni di luce. Le coordinate degli utenti sono mappate sulle coordinate dello spazio virtuale permettendo la navigazione sincronizzata nello spazio virtuale.
Per quanto riguarda il concetto di avatar, è importante precisare che col progetto di ricerca eRENA è stata affrontata una profonda riflessione che ha portato alla nozione di avatar come extended avatar. Ma facciamo un passo indietro. Con lo sviluppo degli ambienti immersivi collaborativi, si rese necessaria una rapprensentazione del fruitore più “verosimile” o coinvolgente, rispetto ai puntatori o alle mani virtuali (virtual hand) messi a punto nelle prime fasi della ricerca. L’esigenza di visualizzare contemporaneamente se stessi e gli altri, portò anche ad un cambiamento della prospettiva di visione, dalla prima persona alla terza. Gli scopi della navigazione nei due ambienti si andavano differenziando, dalla manipolazione degli oggetti, alla comunicazione verbale e non, con altri utenti. Si definirono due istanze di base per l’approccio di avatar inteso come “rappresentazione” (o personificazione) del partecipante. La prima (costructed self) mantiene il punto di vista in prima persona e considera l’avatar come costrutto virtuale di se stessi, basandosi sul principio secondo cui il corpo ci rappresenta e ci mette in contatto col mondo. L’avatar porta quindi l’utente ad un alto grado di immersione, alla stregua di un ruolo attoriale, proiettando il suo spazio mentale nello spazio virtuale. La seconda è basata sul concetto di avatar come “corpo esterno per la comunicazione” (externalised body of communication). In questo caso l’utente si trova mentalmente distaccato dal suo avatar che manipola come un pupazzo. Lo spazio fisico e quello virtuale sono riconosciuti separati soprattutto perché la realtà sensoriale del corpo “vero” non è messa in correlazione con quella del corpo virtuale. Questo fattore limita la sensazione di immersione e favorisce un senso di distaccamento, accentuato anche dalla prospettiva in terza persona, necessaria del resto per monitorare la scena che prevede più utenti in una situazione comunicativa.
La nozione di extended avatar prende le distanze da entrambi gli approcci, rifiutando la totale immersione e il distacco corporeo. Il punto di partenza si ritrova nella diversa concezione di avatar, inteso non più come rappresentazione dell’utente, ma come qualcosa di più attivo che si avvicina all’assunzione di un ruolo (user enactment). Il corpo assume quindi una funzione decisamente di rilievo tanto che l’avatar è considerato come estensione del corpo (non quindi come rappresentazione dell’utente), come mediazione tra una gestualità fisica nello spazio “reale” e una virtuale nello spazio, appunto virtule (avatar as extended body of communcation).
Risulta chiaro che il punto più importante della presenza dell’utente in un ambiente interattivo non è la sua rappresentazione, ma la sua capacità di fornire meccanismi di interazione e comunicazione a se stesso e agli altri partecipanti. Questi concetti hanno fornito le linee di base per lo sviluppo di possibili avatar, per i quali sono previste le seguenti caratteristiche: forma astratta, connessione diretta con i movimenti del corpo, aggiornamento nel tempo e non solo nello spazio.
L’esigenza di un aggiornamento del concetto di avatar prende le mosse da una riflessione sulla sensorialità, dal fatto che la percezione dello spazio fisico non è legata solo alla vista, ma la vista è uno fra i sensi che concorrono alla sua definizione. Il movimento e i gesti sono considerati due canali di base per la presenza e la comunicazione che mettono in relazione i fruitori attivando tutto l’apparato sensoriale. I prototipi di avatar che si sono sviluppati sono due: come maschera elettronica astratta (electronic abstract masks) e come personificazione della gestualità corporea (embodiment of bodily gestures) (15). Nel primo caso si utilizzano forme astratte ed essenziali per richiamare le sembianze antropomorfe, abbandonando il punto di vista in prima persona e l’illusione dell’immersione. Nel secondo caso l’avatar prende definitvamente le distanze dall’idea di rappresentazione per divenire segnale di presenza, grazie a tracciati grafici aggiornati in tempo reale che riportano tutti i movimenti dell’utente a cui si riferiscono. Nel prossimo capitolo potremo capire meglio questo concetto analizzando l’installazione “Murmuring Field“, torniamo per ora all’esame del MR stage.
L’intero ambiente e’ pensato per essere realizzato in uno spazio 4mx4mx4m, per ottenere una scala tra reale e virtuale di 1:1. In caso di spazi più piccoli si pone l’esigenza di mettere in scala i due spazi e per fare questo occorre un’elevata precisione da parte del sistema, soprattutto dalle componenti che rilevano i punti per le coordinate, senza dimenticare tempi maggiori di rendering del VRLM client. In caso di ambienti più piccoli del previsto e nell’impossibilità di mettere in scala reale e virtuale (per esempio 1:2), il soundscape apparirebbe troppo denso in relazione alle dimensioni del corpo dell’utente, costringendolo a muoversi lentamente e attentamente, poiché spostarsi in un metro di spazio reale significherebbe muoversi attraverso un numero elevato (raddoppiato) di suoni nell’ambiente virtuale.
Questi suoni hanno la funzione di ispirare ulteriori movimenti e di spingere i partecipanti ad una cooperazione nella produzione di nuovi patterns.
Lo spazio virtuale, infatti, si può considerare soprattutto come un’architettura acustica. Gli oggetti sonori sono attivati da sensori di prossimità stimolati tramite le tracce avatar, aggiornate costantemente dal sistema di video tracking. Quest’ultime (tracce dei movimenti individuali) assumono anche una funzione di orientamento. Oltre ad essere un’interfaccia grafica, divengono il mezzo per comunicare: mostrano la posizione di ogni partecipante e producono effetti acustici stimolando gli oggetti sonori. Questo tocco virtuale e i suoni emessi creano un dialogo tra gli utenti, fornendo gli input per la realizzazione di una composizione visivo-sonora. Via via che i partecipanti s’immergono nel gioco dei movimenti e delle sonorità, aumenta parallelamente la loro consapevolezza di essere nello spazio grazie al proprio corpo, strumento privilegiato, in questo caso, di conoscenza.
Tra spettatore, tracce avatar, suoni, spazio fisico e spazio virtuale esiste un’inscindibile relazione perché nel MR stage l’intero sistema è considerato come interfaccia. Non solo quindi le parti che connettono uomo e macchina sono tali, ma tutta la situazione. I partecipanti non necessariamente devono essere coscienti della connessione fra le loro azioni e i risultati che esse hanno sull’ambiente, poiché il ruolo dell’ambiente è di fornire le premesse in grado di scatenare gli eventi. Risulta quindi molto importante utilizzare una strumentazione non intrusiva per non ostacolare la relazione che si crea fra le parti.
Il sistema tecnologico di base eMUSE e’ da considerarsi come un tipo speciale di interfaccia che cambia i parametri usuali di una tipica interfaccia WIMP (16) in due elementi di base:
– L’interfaccia è intesa come spazio dell’azione e dell’attenzione.
Lo sviluppo di azione e comunicazione avvengono nello spazio, ogni movimento è reso visibile attraverso display audio visivi dislocati nell’ambiente. Lo spazio tra la telecamera sul soffitto e quello della proiezione crea un campo d’azione per i partecipanti. Quest’ultimo si può definire come un nuovo “inter-spazio” (17), una nuova situazione per un orientamento mnemonico e spaziale.
– Non è lo spettatore a manovrare l’interfaccia perché non possiede nessuno strumento fisico, ma è l’interfaccia (sistema di visione) che percepisce gli utenti.
Non occorre utilizzare mouse o joystick per navigare, il sistema di video tracking percepisce i fruitori e mette in relazione i loro movimenti con il paesaggio sonoro virtuale. L’interazione diretta con il mouse si riscontra attraverso l’indiretto toccarsi degli oggetti virtuali.
3 – Murmuring Field
Come realizzazione concreta di un MR stage multi-user, nel ’98 è stata progettata l’installazione “Murmuring Field”, presentata al Media Art Festival “Trasmediale” che ha avuto luogo a Berlino dal 12 al 25 febbraio 1999.
In questa occasione l’installazione si è presentata divisa in tre zone, quella attiva per i partecipanti, quella passiva per gli spettatori, un corridoio per la discussione. Il corridoio serve come luogo di passaggio per arrivare all’installazione vera e propria, in cui lo spettatore può decidere se iniziare la sua esplorazione dalla zona attiva o passiva. La prima è di 3mx3m e può ospitare due persone, la seconda, più spaziosa, arriva a contenere fino a dodici persone oltre a tre o quattro operatori.
L’elemento principale dell’installazione è lo schermo di garza che divide la scena e ha la funzione di accogliere le proiezioni e di lasciarle filtrare nel muro retrostante.
Si può dire che gli spettatori e gli “interattori” condividono uno spazio tutto sommato unico, separato da uno schermo trasparente che riflette l’immagine centrale percepibile da ambo i lati. Nella zona passiva tutta l’attrezzatura è visibile e permette al pubblico di capire il funzionamento dettagliato dell’opera, alcuni componenti del team tecnico sono presenti per fornire un ulteriore supporto.
Spazio virtuale
Lo spazio virtuale è un “paesaggio sonoro” (soundscape) accompagnato da segni grafici in bianco e nero (una sorta di “grafico”per visualizzare i suoni) e da tracce colorate (tracce avatar) create dai movimenti dei fruitori nello spazio reale. Il paesaggio sonoro è strutturato come un campo di densità composto dalle dichiarazione di quattro studiosi contemporanei dei media, Marvin Minsky, Joseph Weizenbaum, Paul Virilio e Villem Flusser. Le linee principali definiscono le aree del parlato, quelle più chiare, intrecciate fra loro, costituiscono la rete di connessione per i suoni di background.
Ciò che si visualizza è una rete topografica, una “scultura” che cambia continuamente forma e andamento, grazie all’interazione dei partecipanti. I segni grafici rappresentanti le quattro aree delle dichiarazioni, sono simboli che richiamano antiche forme di comunicazione: il colore per il background è bianco, le linee principali sono nere e l’ombreggiatura è grigia.
Posizionandosi al centro dell’opera è possibile udire le dichiarazioni integre e complete. Ogni clip è supportata da una serie di sonorità di sottofondo a carattere ritmico, come il respiro per esempio, che conferiscono un carattere differente ad ogni singola frase. Sia le frasi, sia le sonorità si ripetono in successione (loop) anche se ci si allontana dall’area sensibile; ogni volta però che lo spettatore fa ritorno, il testo riparte da un punto diverso, presentando le dichiarazioni in un contesto diverso volta per volta.
Allontanandosi dal centro le frasi, udite tutte insieme, si snodano e ne segue un campo in cui si percepiscono parole, singole frasi o piccoli passi (accompagnati sempre dalle sonorità).
Questi brevi frammenti, non essendo più ripetuti in successione (la stessa cosa vale per le sonorità), offrono ai partecipanti la possibilità di immergersi in un “gioco” di composizione libera di significati e di suoni, per mezzo dei loro avatar nello spazio virtuale. Se l’avatar urta uno dei sensori di prossimità (presenti nello spazio virtuale) le singole parole si “rompono” in tanti frammenti (area dei fonemi). Il ripetersi di questo avvenimento provoca la sensazione di un’iterazione ritrmica con effetti simili allo scratch della musica rap, in grado di stimolare il senso di coinvolgimento fino da spingere gli spettatori a danzare con le parole. L’ambiente sonoro che prende forma, passando dai suoni in loop alle parole, ai fonemi, si distanzia notevolmente da una qualsiasi partitura musicale e dall’idea di linearità. E’ importante sottolineare che tutta la “performance” visivo-acustica è gestibile totalmente dall’azione degli spettatori, in quanto il sistema elettronico di controllo non prevede azioni predefinite.
Schermo di proiezione
Lo schermo di proiezione, separando l’area attiva da quella passiva, diviene parte dell’azione conoscitiva per gli osservatori e interfaccia visuale per i partecipanti. Sulla sua superficie è riprodotta una grande finestra di Netscape integrata da due piccoli riquadri alle estremità superiori.
Nella finestra grande è raffigurato il piano dello spazio (2D) visto dall’altro, sul quale si visualizza lo spazio virtuale e il movimento degli avatar (top view).
In questo modo i fruitori possono monitorare costantemente i loro spostamenti per mezzo dei loro avatar, stabilendo una relazione tra i movimenti fisici e quelli virtuali.
I riquadri piccoli forniscono invece il punto di vista del singolo partecipante per mezzo del proprio avatar (3D insight view), che possiamo definire punto di vista interno. Ne risulta una visione spaziale tridimensionale che permette di monitorare il proprio percorso passo dopo passo nell’ambiente virtuale. L’impressione di essere al centro dell’azione, fornisce un grande impulso all’esplorazione, rafforzando la relazione tra i gesti nello spazio fisico e le relative modifiche nel riquadro raffigurato.
L’avatar in questo caso ovviamente non è visibile poiché occupa il punto di vista e include la visione del partecipante stesso.
Queste immagini, per effetto della particolare consistenza della garza, si riflettono sulla parete retrostante amplificando la sensazione di immersione. Il fascio luminoso, colpendo anteriormente i partecipanti, riflette le loro ombre sul riquadro a sua volta riflesso sulla parete: in questo modo si evita un unico punto di vista e si rafforza il senso di appartenenza all’immagine.
In un certo senso si può considerare come risposta ad un ambiente multiuser 3D, come il CAVE. In questo caso nella duplice proiezione si può esperire l’effetto sinestetico dell’udire vedere-sentire muoversi, tramite la sovraimposizione delle ombre dei visitatori sull’ambiente virtuale, evitando l’utilizzo di una strumentazione da indossare.
Avatar
In Murmuring Field, l’avatar prende la forma di una piccola sfera di un colore diverso per ogni utente; appena il visitatore entra nella zona interattiva è rilevato dalla telecamere e rappresentato dall’avatar. Quest’ultimo può anche cambiare forma e dimensione in relazione ai gesti, se si allungano le braccia, per esempio, allora assumerà la forma di un ellissi, con la conseguenza di urtare un maggior numero di files sonori.
L’essenza dell’avatar in questo caso non è rappresentazione, ma pura presenza: la traccia è creata in tempo reale basandosi sui movimenti e sui gesti degli utenti e serve loro come guida all’esplorazione di un mondo altro. Come dicevamo nel paragrafo 2.2 (avatar as electronic abstact mask, avatar as gestural bodies), la sua semplice forma visuale provvede a fornire tutte le informazioni necessarie per la localizzazione nello spazio e nel tempo ed è connessa dinamicamente ai movimenti del corpo dei partecipanti, coinvolgendo tutti i sensi e non solo la vista. Per lo spettatore è possibile porsi in una posizione intermedia tra l’immersione totale (col rischio di perdere la distanza critica) e il distaccamento fisico/corporeo (col rischio di essere emotivamente meno coinvolti). L’avatar (inteso come extended body of communication) diviene un tramite tra lo spazio reale e quello virtuale, tra il proprio corpo e la sua virtualizzazione. Un’ interfaccia in grado di interfacciarsi a sua volta con altri avatar, influenzando l’utente stesso tramite il feedback esperienziale del mondo virtuale.
E’ possibile partecipare all’installazione anche servendosi di Internet, utilizzando però strumenti più convenzionali, come mouse o tastiera, per aggiornare le proprie tracce avatar.
Interazione
Negli ambienti interattivi come Murmuring Field, basati sul principio del gioco libero, l’elemento più importante è l’intero sistema che incita i partecipanti all’azione e alla partecipazione, e la sua invisibilità che permette agli eventi di susseguirsi con la massima spontaneità e libertà. E’ possibile identificare quattro diverse fasi nella metodologia d’approccio dello spettatore: “accesso, selezione, analisi dei criteri, esaminazione ed esperienza” (18).
All’ingresso dell’installazione, il visitatore è invitato ad entrare nel gioco interattivo da un segnale sonoro, che non permette ancora di determinare se il sistema funzioni random o se stia reagendo alla presenza dello spettatore. Il passo successivo consiste nella ricerca di sensori sonori attraverso il battito delle mani o il tono alto della voce, oppure nell’individuazione di sensori di pressione tramite salti o forti colpi dei piedi sul pavimento. Una volta compreso che questi metodi sono inefficaci, la maggior parte degli utenti si concentra sull’ osservazione del proprio movimento e, grazie allo schermo visivo, scopre che il fulcro del processo interattivo è proprio il corpo. Il punto di vista dall’alto (top view) permette di correlare la gestualità fisica all’andamento dell’avatar. La fase successiva consiste nello studio delle caratteristiche di quest’ultimo, prima fra tutte la capacità di attivare suoni. Gli effetti acustici non sono da intendersi come semplice addizione multimediale, perché il loro scopo intrinseco è quello di essere suoni di navigazione che guidano, o meglio, si lasciano guidare dallo spettatore durante il suo percorso. Ora l’attenzione è rivolta al gioco col corpo sia come riflessione individuale, sia come ricerca di condivisione della situazione.
La top view sollecita una diversa gestualità rispetto al punto di vista soggettivo (insight view). La prima tende ad incoraggiare movimenti quieti e concentrati: l’obiettivo è quello di afferrare gli altri avatar, unirsi con loro e aprire uno spazio comunicativo comune.
Il secondo, stimola danze individuali in cui ogni partecipante si concentra sul proprio corpo, alla ricerca del controllo dello spazio, impegnandosi più nell’interazione con le immagini che con le persone.
La mappa della top view è ritenuta più chiara di quella dell’insight view, anche se quest’ultima fornisce la sensazione di trovarsi in uno spazio più largo, più manipolabile in grado di stimolare in maggior misura il desiderio di immersione nello spazio virtuale.
L’inclusione delle ombre nella proiezione del muro retrostante sposta l’azione lontano dal dominio dello schermo e dall’azione del suono. Si crea un “angolo di meditazione”,fruito ad occhi chiusi in cui i partecipanti si lasciano andare ad un ascolto profondo.
In alcuni momenti anche la navigazione di fronte allo schermo avviene ad occhi chiusi, soprattutto dopo che lo spettatore “ha preso confidenza” con l’ambiente: si delinea un situazione di equilibrio tra una reazione passiva all’immagine sonora e la sua composizione attiva attraverso il cambio di posizione.
Lo spazio delle immagini serve principalmente come orientamento, è la visualizzazione dell’altrimenti invisibile interfaccia dello spazio sonoro.
Se i simboli grafici, in certi casi, possono disorientare il visitatore, in altri grazie al gioco di contorni e ombre divengono un elemento di grande fascino. La cosa interessante in questo caso è che non è il corpo che si muove in funzione della musica, ma la musica, i suoni sono creati dal movimento del corpo.
Questa particolare struttura della navigazione, non così immediata, porta l’utente a prestare grande attenzione alla relazione che si crea tra i suoi movimenti e lo spazio. Sebbene la distanza tra le “due dimensioni” esista, gli utenti riescono a proiettarsi nell’ambiente virtuale considerandolo “campo d’azione” al pari di quello reale.
Il corpo, i gesti, i movimenti, sanciscono una relazione di mutua dipendenza e di paritaria importanza alle due “spazialità”, divenendo il link per scivolare tra reale e virtuale.
Che sia il primo passo verso un equilibrio?
Bibliografia
Attraverso Bateson, a cura di Sergio Manghi, Raffaello Cortina Editore, Milano, 1997
Realtà del virtuale, a cura di Jader Jacobelli, GFL Laterza, Bari, 1997
Giuseppe O. Longo, Il nuovo Golem, Laterza, Bari, 1998.
Maurice Merleau-Ponty, Fenomenologia della percezione, Adelphi, Milano, 1965
Jasminko Novak, “Development of paradigms and models for interactive environments”, (http://imk.gmd.de/mars/cat)
e-RENA. “Deliverable 6.2. Linking betwen real and virtual spaces”, (http://imk.gmd.de/mars/cat)
(PDF, 52 Kb)
Comments are closed