• Google+
  • Commenta
17 Maggio 2012

Visioni del suono all’Università di Padova

Le installazioni interattive

Stanza Logomotoria

Cos’è

La Stanza Logo-Motoria è un ambiente interattivo multimodale per l’apprendimento, dotato di periferiche input e output convenzionali (webcam, diffusori e proiettore), con cui è possibile sperimentare nuove forme di interazioni tramite il movimento.

Dal mese di settembre 2009 è installata in modo permanente in una Scuola Primaria di Gorizia dove viene regolarmente utilizzata come strumento alternativo e/o addizionale alle tradizionali tecniche di insegnamento; e per finalità di ricerca scientifica, presso il Dipartimento di Ingegneria dell’Informazione (DEI) dell’Università di Padova.

La Stanza Logo-Motoria è un ambiente in cui il bambino è libero di esplorare lo spazio utilizzando al massimo le potenzialità dei movimenti del suo corpo. Si tratta di un ampio spazio vuoto (classe, palestra, palcoscenico) in cui, al centro del soffitto, è applicata una webcam collegata a un computer su cui è installato il sistema innovativo per l’interazione multimodale. Utilizzando tecniche di monitoraggio video, la Stanza Logo-Motoria permette di realizzare un ambiente di realtà aumentata in cui i movimenti nello spazio dell’utente attivano la riproduzione di contenuti audio/visivi collegati semanticamente con l’argomento della lezione. La Stanza Logo-Motoria, nelle sue diverse realizzazioni, è adatta a supportare l’insegnamento a tutti gli alunni della Scuola dell’Infanzia e della Scuola Primaria, anche quelli che si trovano in situazione di grave disabilità (strumento compensativo e/o dispensativo); permette di condurre in modo alternativo le attività curricolari e di creare genuine connessioni fra le discipline, valorizzando le abilità cognitive di ogni bambino.

Applicazioni

Una delle principali applicazioni della Stanza Logo-Motoria è il Resonant Memory che, consente di suddividere lo spazio a disposizione (rilevato dalla webcam) in 9 zone (8 periferiche ed 1 centrale) e di far corrispondere a ognuna di esse un contenuto sonoro e/o visivo. Mediante l’applicazione Resonant Memory, il bambino inizialmente esplora i suoni contenuti nelle zone periferiche e ne memorizza le coordinate spaziali. Entrando poi nella zona centrale il bambino attiva la riproduzione sonora di una storia che contiene gli elementi concettuali corrispondenti ai suoni collocati nelle zone periferiche.

Il bambino, ascoltando attentamente il racconto, si diverte a ritrovare (spostandosi nelle zone periferiche) i suoni ascoltati nella fase di esplorazione e a introdurli fisicamente nella narrazione, realizzandone così in tempo reale la colonna sonora. Attività di sperimentazione hanno dimostrato che, sfruttando in questo modo la memoria motoria dello scolaro, si migliora la comprensione del testo e si prolunga il tempo di attenzione.

CaRo 2.0: L’interpretazione dell’espressione musicale

Sono stati fatti suonare a diversi pianisti alcuni brani musicali appartenenti alla tradizione classica europea su un pianoforte dotato di sensori e attuatori collegati a ogni tasto, per registrare quanto a lungo tenessero premuto ogni singola nota e quanto forte premessero ogni tasto. I dati raccolti nota dopo nota sono interessanti, perché i musicisti di rado suonano la musica proprio come compare sullo spartito, bensì la interpretano aggiungendo la loro personalità.

I risultati dello studio indicano che i pianisti esercitano un controllo molto accurato e consapevole sui parametri esecutivi, utilizzandoli per sottolineare particolari passaggi della partitura con crescendi e diminuendi, accelerandi e ritardandi, accenti e brevi respiri. Inoltre, modificano il loro tocco in base a più o meno consapevoli intenzioni espressive, con le quali conferiscono interesse e colore alla loro interpretazione.

Esecuzione musicale automatica espressiva

CaRo 2.0 utilizza un modello computazionale delle variazioni espressive inserite dagli interpreti umani, ed è basato su uno spazio di controllo bidimensionale correlato alle categorie fisiche energia e cinetica. In questo modo riesce a simulare l’espressione musicale di un pianista, né più né meno di come il viso di un cartone animato, è in grado di far trasparire emozioni quali gioia o tristezza.

Le partiture musicali contengono in genere, oltre alle note, una serie di segni grafici e termini verbali che forniscono indicazioni su come il pianista andrà a variare i parametri esecutivi, quali ad esempio la velocità di esecuzione, l’intensità, l’articolazione del fraseggio. Si tratta di indicazioni di massima, che vengono interpretate da ogni pianista in base alle proprie scelte stilistiche ed espressive.

CaRo 2.0 è in grado di leggere questi segni e di tradurli in istruzioni di controllo per il pianoforte sensorizzato. Invece di fornire una unica interpretazione, il nostro sistema lascia all’utente la possibilità di scegliere la propria intenzione espressiva e di variarla durante l’esecuzione, seguendo l’evoluzione della partitura.

Il caos delle sfere

Un flipper a fianco di un pianoforte a mezza coda. Nascosto, in secondo piano, un vecchio computer mette in comunicazione i due diversi mondi: la sala giochi e la sala concerto.

• Il flipper è un classico del suo genere, The Creature from the Black Lagoon, uno dei primi a introdurre il concetto di evoluzione di una partita attraverso l’acquisizione di una sequenza di obiettivi.

• Il pianoforte a mezza coda è un Disklavier, ovvero un pianoforte elettromeccanico nel quale i tasti possono essere comandati tramite interfaccia MIDI.

• Il computer era attuale nel 1998, anno di sviluppo dell’applicazione e aveva montati i software (allora) più recenti per poter gestire ogni passo dell’installazione.

 

Come avviene l’interazione?

Il visitatore, appena la pallina entra in gioco, si trova a controllare la generazione di un’esecuzione musicale suonata in tempo reale dal pianoforte. Quando la pallina cade nella buca, tutto si interrompe bruscamente, per poi ripartire, in uno stile simile, con la pallina successiva. A una nuova partita tutto riparte dall’inizio, sviluppandosi in relazione alla bravura del giocatore.

Il giocatore/pianista, interagendo con il flipper, non controlla le singole note.

Ma cosa avviene realmente durante l’interazione?

Una partita si sviluppa in più fasi, in base all’acquisizione di alcuni obiettivi. Le fasi della partita sono associate ad un determinato stile compositivo, le esecuzioni sono generate dal calcolatore in base ad un modello generativo fornito da Carlo De Pirro. Il giocatore manipola il materiale compositivo secondo un principio denominato Rifr-azioni Controllate, ossia trasformazioni del materiale sonoro, apportate in tempo reale all’esecuzione in base all’andamento della partita. Sono stati appositamente sviluppati dei moduli software che implementano i diversi tipi di rifrazione proposti dal compositore. In base alla partita, il giocatore seleziona il modulo di rifrazione e ne pilota le variabili principali.

 

 

 

 

Google+
© Riproduzione Riservata