Sense-IT@iet.NTNU6. okt. @ Gløshaugen
A-me : Augmented memories
http://picturingthebrain.org/a-me
A-me er et hypotetisk minneinnhentingssystem som setter den besøkende i stand til å oppleve menneskelige minner ved å være tilstede gjennom interaktivitet (immersion). Det har som mål å kritisere paradigmene knyttet til bilder laget i hjernen/fantasien som for tiden diskuteres i forskermiljøet. A-me undersøker implikasjonene ved ulike tilnærminger til hjerneforskning, som reduksjonisme og fenomenologi. Dermed er det et symbol på den pågående vitenskapelige diskusjonen om menneskelig atferd gjennom analyse av hjerneaktivitet. A-me er også en teknisk undersøkelse av forbedrede virkelighetsteknikker (Augmented Reality-AR) som brukes på hjernens visualisering og auralisering.
A-me er et hypotetisk minneinnhentingssystem som setter den besøkende i stand til å oppleve menneskelige minner.
Dette bidraget presenterer konseptet for et optisk gjennomsiktig AR system som legges over en volumgjengitt MRI-scan av et medisinsk fantomhode. I tillegg inneholder installasjonen et binauralt gjengivelsessystem for å omgjøre hørselsminner til omsluttende 3D soundscapes. Den besøkende vil kunne navigere i hjernen ved å bruke en sporingssonde på lignende måte som nevrokirurger undersøker hjerneskader under preoperativ planlegging. Mens den besøkende navigerer i hjernen vil hun/han kunne finne aktive områder i spesifikke deler av nervestrukturen. Når man peker på dem med sonden vil det trigge en lagret følelsesmessig opplevelse i form av en visuell eller auditiv framstilling av den neurale aktiviteten.
Prosjektet oppstod på grunn av behovet for å diskutere og kritisere konseptene og teoriene som nevnt over, knyttet til definisjoner av hjernen/fantasien. Derfor foreslår vi å utvikle en interaktiv kunstinstallasjon som kan eksemplifisere et leseapparat for hypotetiske minner. Kunstverket har som mål å vise dagens topp moderne kartlegging av hjernen og i tillegg gi muligheten for å aktivere en opplevelse. Det er kjent at gamle minner finnes i hippocampus som er et område i den midtre tinninglappen i hjernen. Systemet bruker faktiske tomografiske data fra en scannet avdød som kan navigeres i ved å manipulere en sporingssonde. Samhandlingen, eller interaksjonen, som styres av den besøkende vil bestemme et sett minner som vil trigge en audiovisuell respons.
I utstillingsrommet for installasjonen vil det finnes et område som er godt utstyrt for å vise opplevelsen. En stereo 3D-skjerm, seks sporingskameraer, en halvforsølvet glassplate og et fantomhode vil stå på et bord (se Fig.1). Den besøkende vil bli utstyrt med trådløse hodetelefoner, lukkede sporingsbriller og en sporingssonde. Når den besøkende ser gjennom glasset vil hun/han se en MRI volumvisualisering av fantomhodet. Den besøkende vil kunne navigere i ulike deler av hjernen ved å manipulere sonden. Visuelt integrert med de faktiske dataene vil det være noen aktive punkter som indikerer at det finnes et minne. Ved å peke nøyaktig på et av dem vil det gi en følelse av tilstedeværelse ved en at en (immersive) audiovisuell respons blir trigget i form av hjerneaktivitet registrert på de faktiske tomografiske dataene. Når en beveger seg bort fra slike punkter vil systemet integrere flere og flere lydlandskap fra tilliggende minner som vil føre til et fullstendig auditivt kaos.
A project by Jordi Puig
I samarbeide med:
Dirk Schröder Immersive – Sound Design and Auralization Concept
Tore Landsem – Industrial design
Rune Svensrud – Image processing
Carles Gutierrez – Coding support
Utviklet ved SenseIT, støttet av Q2S og Picturing The Brain.
Chroma Space
Vi presenterer en installasjon som heter Chroma Space som fungerer som en plattform for å eksperimentere med ny bruk av affektive farger i et inkluderende miljø. Chroma Space deler teknologien fra Flick Flock (2009), som utforsker et transformativt avlukke for den besøkende gjennom en kombinasjon av 3D-spillmotor, datavisjon og 3D lyd. Utfordringen knyttet til implementeringen av en stilistisk presentasjon av farger i Chroma Space omfatter ikke bare begrensingene i spillmotoren, men også problemstillinger knyttet til følelsesmessig destruksjon av visuell kontinuitet (både i den visuelle presentasjonen og i animasjon) som er vanskelig å løse i en syntetisk verden. Installasjonen har som mål å vise de faktiske virkningene av å bruke en stilistisk tilnærming for å ta opp følelsesmessige opplevelser ved å få farger til å bevege seg i rommet.
Vi ser for oss Chroma Space i dempede paletter som fratar hver gjengitte ramme fargerikdom. Med nøye utvalgte paletter som bare skal styre den besøkendes opplevelse vil hun/han som går inn i Chroma Space forstå at de påvirker atferden, fargene og presentasjonen av virtuelle objekter. Chroma Space presenterer dempede farger som kortvarig samhandler og kommuniserer med sansene våre. Installasjonen inneholder også virtuelle objekter som beveger seg i harmoni med fargene og lyden. Dette er den abstrakte verdenen som definerer Chroma Space.
Chroma Space skaper et immersivt miljø gjennom lys og veggprojisering og drives av den besøkendes egen kropp. Den besøkendes kropp påvirker bildene og lyden fungerer som en massiv geometri lagt inn i et koordinatsystem. Ved å heve armene langt fra kroppen gir hun/han et signal til systemet om å gå videre. Ved å bevege den besøkendes kropp noen grader til venstre eller høyre endres systemet det virtuelle kameraet i denne retningen. Retningen hun/han beveger seg påvirker også panoreringen og avspillingen av lyden.
Networked Decollage
http://www.q2s.ntnu.no/~wendyann/decollage
Networked Decollage fungerer som et felles område for kunstintervensjoner i et rom med nettverk. Vi startet med et enkelt mål om å la den besøkende kommentere, velge og dele informasjon fra det sosiale nettverket (fortrinnsvis sitt eget) som de synes er relevant for et bestemt sosialt rom. For å få til dette utvider vårt arbeid den sosiale databehandlingen i seriøse spill til også å omfatte to aspekter i spilldesign: Bruk av kunstintervensjon og crowd sourcing (nettverksdugnad).
Networked Decollage er laget som et massivt flerspiller online-spill (Massive Multiplayer Online Gamining – MMOG). I MMOG-er, samhandler og kommuniserer mange spillere med hverandre ved å bruke ulike kommunikasjonsnettverk og multimedieinfrastrukturer. Men til tross for at MMOG-ene er robuste, utfordres MMOG-spillerne alltid av problemstillinger knyttet til sosial realisme og estetiske aspekter ved miljøet. For å forklare for de multidisiplinære forskningsmålene innenfor Q2S er det aktuelle arbeidet utformet for å støtte flere typer medier sammenlignet med tradisjonelle MMOG-er. Dette bringer opp flere viktige forskningsemner, særlig innenfor området for opplevd kvalitet (Quality of Experience – QoE) for å garantere en bedre brukeropplevelse. Denne plattformen antas å ville bidra til ytterligere undersøkelser i en immersiv miljøkontekst og på virkningene av nye estetiske former og andre moduser for implisitt opplevelse som påvirker vår kvalitetspersepsjon.
Candy
http://www.q2s.ntnu.no/~wendyann/candy
Candy er en audiovisuelt eksperimentell installasjon som på en metaforisk måte viser homogeniseringen av individer på grunn av vårt forbruk og teknologi som er i stadig utvikling. Installasjonen diskuterer og reflekterer seirene til de manipulative kampanjene i kulturindustrien og utfordringene i de medfødte kretsene for menneskelig glede og behag. Her kretser vi rundt våre primitive ønsker og supernormale stimulanser som er i stand til å trykke på våre nytelsesknapper. Candy samler inn informasjon fra det sosiale rommet for skjønnhet og sannhet som omfatter visuelle gjenstander, personlige uttalelser og forbrukerkampanjer og projiserer dem på et fysisk multisensorisk rom.
Kunstverket inviterer den besøkende til å reflektere, sitte, slappe av og fysisk utforske et middagsbord som middagsgjest. Middagsgjesten får en meny og velger en rett. Når retten serveres på bordet åpnes lokket, og aromaen slippes ut. Den erter smaksløkene og øker deltakerens opplevelse og matlyst. Middagsgjesten opplever et multisensorisk narrativt medium som visualiserer den sosiale nettverksverdenen og de elektroniske massemediene og disses påvirkning på menneskelige preferanser, forbruk og nytelse i sanntid. I sanntid forsterker installasjonen også de auditive lydene og støyen knyttet til den direkte samhandlingen med maten og det tilhørende narrative mediet.
Q2S:
Arbeidet med alle installasjonene er utført ved Sense-IT labben ved NTNU-Q2S – senter for kvantifiserbar tjenestekvalitet i kommunikasjonssystemer, et norsk Senter for fremragende forskning (Centre of Excellence) ved NTNU i Trondheim. Q2S er utnevnt av Norsk Forskningsråd og støttes økonomisk av Forskningsrådet, NTNU og UNINETT.
Hovedaktivitetene i Q2S er å studere prinsipper, mekanismer, metoder og tekniske løsninger knyttet til kvalitet og vurdere egenskaper og ytelse ved hjelp av eksperimenter og modeller. Ytelsene forholder seg til opplevd kvalitet av streamet tale/musikk og video, forsinkelser og gjennomløp av elastisk trafikk, tjenestenes pålitelighet og tilgjengelighet, samt informasjonssikkerhet med kryptering og brukerautentifisering.
Immersive Media Technology Experiences:
Skjæringspunktet mellom kunst og forskning innenfor informasjons- og kommunikasjonsteknologi (IKT) har fengslet kunstnere, teknologer og forskere siden 1960-tallet. Databasert kunst har eksistert siden ’60-tallet med kunstnere som Michael Noll og Frieder Nake. De første utstillingene for datakunst ble arranger i 1965. Leonardo-journalen ble funnet i 1968. Photoshop 1.0 ble lansert i 1990 og i senere kom digitale kameraer på markedet. Bildene kunne lastes opp på datamaskiner og manipuleres. Den første multimedia-PC-en ble lansert i 1991. Med oppfinnelsen og utviklingen av PC-en, Internett, programvare som Adobe Photoshop og elektroniske verktøy som kameraer og mobiltelefoner har det vært en eksplosjon av både produksjon og deling av digitalt innhold. Kunstnere trenger programvareteknologi for å skape og utvikle sine kunstverk. Teoretikerne har som mål å forstå konsekvensene av programvaren for utøvelsen av kunst. Teknologene ser på kontakten med kunstnerne som en kilde til innovasjon.
Immersive Media Technology Experiences (IMTE) er et nøkkelkonsept som innbefatter flere disipliner som Medieteknologi, Informasjons- og kommunikasjonsteknologi og Mediestudier. På denne måten kan IMTE omfatte flere kjernekompetanseområder som dekker felter som kommunikasjon, informasjonsinnhenting, underholdning og sosiale nettverk. Den vitenskapelige plattformen for Immersive Media Technology Experiences tar i bruk dagens nye digitale media og integrerer disse i sosiale nettverk ved å koble samme mennesker i en helt ny måte å skape rom for samarbeid. En sterk vektlegging av opplevelse gir fullt fokus på brukerne og deres krav og behov, gjort mulig av den utviklede opplevelsesmodellen som beskriver det fullstendige økosystemet for medieteknologi fra innholdspresentasjon til bruksområder og de sosiale, økonomiske og kulturelle virkningene.
Områdene for forskning og innovasjon kobler sammen tre viktige fokusområder: Bruker, Innhold og Infrastruktur. Limet i denne forbindelsen er Brukernes interaksjon eller samhandling med Innholdet gjennom enheter som er koblet til Infrastrukturen. Slik Interaksjon og Enheter krever Nye Digitale Medier og muligheter for Innholdet til å Tilpasse seg Brukerens ønsker og behov og den tilgjengelige Infrastrukturen (Networked Media Handling/Nettverksbasert mediehåndtering). Strukturen gjør det mulig å kjøre pilotprosjekter på nye avanserte applikasjoner og tjenester som Digital Storytelling, Digital Art, Serious gaming, presence og immersive opplevelser (interaktivitet) etc.
IMTE-teamet er spredd over 4 institutter, over 2 fakulteter og koordineres av:
• Andrew Perkis (NTNU IET/Q2S)
• Leif Arne Rønningen (NTNU/ITEM)
• Yuming Jiang (NTNU ITEM/Q2S)
• Aud Sissel Hoel (NTNU IKM)
• Letizia Jaccheri (NTNU IDI)
Arbeidet i IMTE som presenters på Meta.Morf er utført under ledelse av Andrew Perkis, Touradj Ebrahimi og Aud Sissel Hoel.
Sense-IT
I våre laboratorier utforsker vi skjæringspunktet mellom kunst og teknologi gjennom flere installasjoner. Candy, Chromaspace, Networked decollage og A-me, vår forskning innenfor QoE og kunstrelaterte aktiviteter. Vi har en permanent utstilling i Sense-IT laboratoriet der besøkende kan lære om vår forskning og direkte oppleve den siste utviklingen innenfor ulike områder som 3DTV, fysiske interaksjonsteknikker, utvidet virkelighet og bruksområder for immersive medier blant annet.
Picturing the brain
A-me er en installasjon som er utviklet som en del av forskningsprosjektet Picturing the Brain: Perspectives on Neuroimaging. Dette prosjektet søker å gjøre vår forståelse av de epistemologiske rollene som neuroimaging (bilder fra hjernescanning) teknologi spiller i gjennomføringen og kommunikasjonen av medisin og forskning. Det viktigste målet er å utvikle en finkornet forståelse av de sosiokulturelle og etiske problemstillingene som oppstår i forhold til den nåværende bruken av disse teknologiene etter hver som de blir tatt i bruk som kognitive verktøy, som perseptuelle proteser og som visuell retorikk.
Publikasjonsliste
Utstillinger, arrangementer og kunst:
Mansilla, Wendy Ann; Puig, Jordi; Perkis, Andrew; Ebrahimi, Touradj. Chroma Space. [Utstillingskatalog]. Colorito: An Interactive Renaissance of Colours. ACM & Titivillus Mostre Editoria; Pisa, Italia, Okt, 2010
NEM Art Jury er glad for å kunngjøre at ditt kunstverk – VANT: Networked Decollage – ble valgt ut til å delta i 2011 NEM Art & Design Contest, som fant sted 27. – 29. september 2011, i Torino, Italia.
Refererte konferansepublikasjoner:
2012
Jordi Puig, Andrew Perkis, Frank Lindseth and Touradj Ebrahimi, Towards an efficient methodology for evaluation of Quality of Experience in augmented reality, Akseptert for publisering i Proc. Of IEEE Qomex 2012, Melbourne, 5.-7.juli, 2012
Wendy Ann Mansilla, Touradj Ebrahimi and Andrew Perkis, Considering the Changing Aesthetic Form and Social Media Dynamics in an Immersive-Networked Environment, akseptert for Poster/Demonstration IADIS Game and Entertainment Technologies 2012 (GET 2012), Lisboa, Portugal, 18.-21.juli 2012, http://www.gaming-conf.org/
2011
Wendy Ann Mansilla, Andrew Perkis and Touradj Ebrahimi, Implicit Experiences as a Determinant of Perceptual Quality and Aesthetic Appreciation, Akseptert for publisering i Proceedings of ACM MULTIMEDIA 2011 (lang artikkel)
2010
Mansilla, Wendy Ann; Puig, Jordi; Perkis, Andrew; Ebrahimi, Touradj. Flick Flock: the distant and distinct characteristics of the masses in immersive aesthetic space. I Siggraph Asia ’10 ACM SIGGRAPH ASIA 2010 Posters. No. 64, ACM New York, NY, USA, Des., 2010.
Mansilla, Wendy Ann; Puig, Jordi; Perkis, Andrew; Ebrahimi, Touradj (2010). Chroma Space: Affective colors in interactive 3D world. I: Sak under den 18. ACM International Conference on Multimedia 2010 (MM 2010). Association for Computing Machinery (ACM) 2010 ISBN 978-1-60558-933-6. p. 1441-1444.
2009
Mansilla, Wendy Ann; Perkis, Andrew; Ebrahimi, Touradj. Exposure effect on experience and visual perception in stereoscopic visual presentations. I Proceedings of the International Conference on Advances in Computer Entertainment Technology, ACE 2009, Athen, Hellas, 29. – 31.oktober, 2009. ACM 2009, ISBN 978-1-60558-864-3, ACM Press, 2009
Biografier
Andrew Perkis ble født i Norge i 1961. Han tok sin Siv. Ing. og sin Dr. Techn. grad i henholdsvis 1985 og 1994. I 2008 tok han en Master of Technology Management i et samarbeid mellom NTNU, NHH og NUS (Singapore). Siden 1993 har han vært ansatt som førsteamanuensis ved Institutt for Telekommunikasjon ved NTNU og som professor siden 2003. I 1999/2000 var han gjesteforeleser ved University of Wollongong, Australia og i 2008, gjesteforeleser ved National University of Singapore. Han er ansvarlig for “Network Media Handling” Q2S-NTNU. Nå fokuserer han på Multimedia signalbehandling særlig innenfor metoder og funksjonalitet knyttet til innholdsrepresentasjon, kvalitetsvurdering og dens bruk innenfor verdikjeden for medier innenfor en rekke bruksområder. Han er også involvert i å sette opp retningslinjer og visjoner for ny forskning innenfor medieteknologi og kunst. Innenfor anvendt forskning er han tungt involvert i publisering til ulike plattformer, særlig til håndholdte enheter. Han har også vært involvert i oppstarten av selskapet Adactus og de kommersielle aspektene ved rollen for digital kino gjennom det norske prøveprosjektet NORDIC. Han er medlem av Norges Tekniske Vitenskapsakademi (NTVA), seniormedlem i IEEE, medlem i ACM og medlem i TEKNA.
Touradj Ebrahimi er professor ved EPFL og leder for Multimedia Signal Processing Group (MMSPG). Han er også professor II ved Q2S – NTNU. Hans forskningsaktivitet strekker seg over tre hovedområder innenfor multimedia signalbehandling, nemlig, bilde- og videokompresjon (særlig avanserte kompresjonsalgoritmer for 3D, Ultra High Definition, og High Dynamic Range innhold), mediesikkerhet (særlig personvern, pålitelighet, innholdsintegritet verifisering og tilgangskontroll), og analyse og tolking av multimedieinnhold (inkludert subjektiv og objektiv vurdering av opplevelseskvalitet, innholdskommentarer og spredning, visuelt søk og grensesnitt mellom hjerne og datamaskin). Han er leder for den sveitsiske delegasjonen til MPEG, JPEG og SC29, og har vært aktiv deltaker og bidragsyter til disse standardene. Professor Ebrahimi var den første som brukte begrepet Quality of Experience i 2001 som et brukersentrert konsept i motsetning til Quality of Service i multimediekommunikasjon. Han er leder for COST gruppen IC1003 (Qualinet) og aktiv i ulike forsknings- og undervisningsaktiviteter som er knyttet til måling av brukeropplevelse i multimedieapplikasjoner.
Aud Sissel Hoel er førsteamanuensis i Visuell kommunikasjon på Institutt for Kunst og medievitenskap ved NTNU. Hun er leder for det prioriterte forskningsområdet PerFormativity ved NTNUs Humanistiske fakultet og er for tiden leder for det tverrfaglige forskningsprosjektet Picturing the Brain: Perspectives of Neuroimaging (2010-2013). Sissels forskningsinteresse dreier seg om forskningsbilder, bildebehandling og visningsteknologi og forgrener seg til spørsmål knyttet til rollen som symboler og verktøy spiller for erkjennelse og kognisjon. Hun har forsket på bruken av fotografier med tanke på overvåking, kontroll og klassifisering av mennesker og i det siste også medisinske bildebehandling og bilder fra hjernescanning. I sine pågående forsøk på å konseptualisere fotografi og bilder fra hjernescanning trekker hun på fenomenologi, legemliggjort persepsjon og forlengede tilnærminger til sinnet, STS-tilnærminger og kontemporær teknologifilosofi.
Jordi Puig er interessert i skjæringspunktet mellom kunst og teknologi. Han har studert Elektronisk Kunst ved ESDI og har fokusert på interaktive installasjoner. Han var lærer innenfor dette feltet ved samme universitet i tre år. Jordi var en av to gründere av et kreativt reklamebyrå som heter Cuatic. Byrået spesialiserte seg på utvikling av fysisk interaksjon der han fungerte som sjef for ny medieteknologi i to år. Han vant flere reklamepriser ved ulike festivaler; her nevnes et utvalg: El Sol Festival, New York Festival, Laus og Europrix. Jordi har også en karriere innenfor kunstområdet og har deltatt ved utstillinger i mange land rundt om i verden, de fleste gangene for organisasjoner for mediekunst som FILE, MedialabPrado, Sonar, Baltan Laboratories, Piksel eller Le Fresnoy. Han har arbeidet i Ars Electronica Futurelab som kreativ ingeniør. Han har også arbeidet som lydprogrammerer for elektroakustiske konserter og teaterstykker. Han har vært med på å etablere Lummo, et studio for skaping av aktive rom. Han er nå Ph.D stipendiat Q2S- NTNU.
Wendy Ann Mansilla
Wendy Ann Mansilla arbeider innenfor det tverrfaglige feltet som omfatter digitale medier, eksperimentell kunst og forskning. Hennes forskningsinteresse og kunstproduksjon utforsker de implisitte opplevelsene, nytelsesteknologi, syntetisk virkelighet, sosiale medier og fiaskoens estetikk. Noen av hennes siste arbeider eller installasjoner er presentert og vist ved Piksel Bergen, STRP Technology Festival Eindhoven, Siggraph, ACM Multimedia, Campus Party Brazil, Factory of Art and Design Copenhagen og LABoral Centro de Arte y Creación Industrial. Hun har mottatt flere kunststipendier for samarbeidende forskningsprosjekter knyttet til digitale medier og moderne kunst. Hun er nå Ph.D stipendiat ved Q2S-NTNU.
