Musen får fingeren

Computermusen er over 40 år gammel og går snart på pension. Apples iPhone og Nintendo Wii giver hints om, hvad der kommer i stedet. Fremtiden er taktile interfaces og multitouch. Musen får fingeren, og LCD skærmen får 10 fingre. Her er historien om livet efter Minority Report.
af Bjarne Panduro Tveskov
Hvis vi siger "Manipulation af store, komplekse datamængder under kraftigt tidspres i kapløb med døden, tilsat store armbevægelser og dramatisk skuespil" lyder det måske umiddelbart som en beskrivelse af de PowerPoint slides, du lavede til sidste kvartalsmøde. Men det kunne også være det, som precrime officer John Anderton (Tom Cruise) udfører i denne berømte scene fra filmen "Minority Report" fra 2002, hvor han med lethed bruger simple håndbevægelser til at navigere med. Det ser sådan her ud i filmen: 



Scenen er et skoleeksempel på, at overbevisende fremtidsvisioner kan gå hen og forme nutiden. For vi begynder nu at se teknologien blive hvermandseje. I dag kaldes lignende brugerflader ofte blot for "Minority Report" interfaces efter filmen. Nogle har forsøgt sig med teknologier, der meget ligner dem fra Minority Report. Fx det Italienske IO. Se her:



I "Minority Report" bærer Tom Cruise handsker med sensorer, der aflæser håndbevægelser, og i den retning arbejdes der også i flere amerikanske firmaer. Ikke mindst hos Microsoft, hvor de kalder det for MUCI (muscle-computer interface). Her er teknologien et lille armbånd med sensorer, der aflæser de elektriske signaler, der går fra musklerne til hjernen. Et stykke ad vejen giver det samme fornemmelse, som når man står med en Nintendo Wii i hånden.

Men ellers handler det meste om kroppens direkte berøring med mediet. Med fingrene navigerer vi rundt på skærmen. Vi kender det allerede fra iPhonen, og vi kommer til at se meget mere til det i fremtiden. Et simpelt eksempel, som kun er begyndelsen, er Apples laptops, der idag kan reagere på to- og trefingers gestik via trackpad"en. En teknologi, der gør det lidt lettere at udføre zoom og bladre. Meget tyder på, at vi i løbet af 2009 vil se en form for multitouch tablet-computer fra Apple, der i forlængelse af sit arbejde med iPhone har teknologien og patenterne på plads. Aflæsningen af fingrene sker her via følere i glasset på samme måde som på en iPhone, mens andre systemer via et kamera aflæser brugerens håndbevægelser.

Tankerne om at bruge mere end én finger til at navigere og manipulere data med lever altså i bedste velgående. Det er ikke fiktion, men multitouch. Den mest berømte demonstration af multitouch teknologi er nok den, som Jeff Han (ja, han hedder Han til efternavn) leverede på TED konferencen i 2006. Det kan man se her (hop evt. frem til 2:00 minutter, hvor det for alvor bliver interessant):



Den teknologi, som Jeff Hans firma Perceptive Pixel leverer, er ganske avancerede multitouch funktioner. Med Hans teknologi kan enhver bruge alle ti fingre, der kan aflæses simultant, hvad der giver mulighed for, at man kan panorere og zoome i data med den ene hånd, mens den anden kan udvælge og flytte objekter. En af Perceptive Pixels første kunder var den amerikanske hær, hvor systemet nu benyttes til taktisk planlægning.

HP"s TouchSmart PC, Microsofts Surface og Apples trackpad viser vejen
Alt tyder på, at flere af de ting, man ser i "Minority Report" og i Jeff Hans demo vil finde vej til vores gadgets i de kommende år. HP"s TouchSmart PC, som allerede er på markedet, giver et hint om, hvor fremtidens PC er på vej hen. Det kan man se mere om her:



Ikke overraskende er Microsoft også aktive på området for multitouch og store berøringsfølsomme skærme, bl.a  i form af "Microsoft surface". Med en en pris på ca. 10.000 dollars og op er det en platform, der hovedsagelig bruges i kasinoer, hotellobbyer og lignende steder, hvor man har mange penge.

Synes man, at det hele er noget fordummende fremtidspjat, kan man tjekke denne film ud: 



De nye spillere og de nye produkter
I den mere underholdende afdeling for det nye multitouch interface finder vi også firmaet Mindstorm med produkter som iWall og iBar, der har været vist herhjemme på Next tech-trend udstillingen i Århus. Den interaktive overflade på Mindstorms produkter kan f.eks vise information om de produkter, man placerer på den, ligesom man kan spille simple spil på iBar-disken. Se fx filmen her 



Det kan anbefales at kigge rundt på Mindstorms website, hvor der er flere gode eksempler på brug af multitouch.

Med den nye teknologi åbnes der op for mulighederne for, at flere brugere kan dele den samme oplevelse, som det ses på denne video af en musikalsk multiuser væg:



Mens vi er i det musikalske hjørne, er det også værd at nævne "Reactable" projektet, hvor fysiske objekter bruges til at styre lyd og musik: 

  

”Pervasive Computing”
Alle de omtalte teknologier er på sin vis del af en større, altomfavnende trend, der går under navne som "pervasive computing", "ambient intelligence", "ubiquitous Computing". Alle navnene dækker over det faktum, at info teknologier og internettet i højere og højere grad flyder sammen med den fysiske verden. På den ene side får nettet flere og flere brugere, sensorer, kameraer, der sender data ind, og på den anden side får vi bedre værktøjer som f.eks multitouch, store skærme og visualiseringstools til at trække data ud. Med den rette software vil dette sætte os i stand til bedre at kunne finde mønstre og skabe overblik i den hyperkomplekse verden, vi befinder os i. Man kan forestille sig et virtuelt warroom, hvor et firma i realtid kan følge med og deltage i den strøm af relevante diskussioner, der løbende finder sted via blogs, twits, videoclips og utallige andre kanaler.

Kevin Kelly taler om, at nettet og alle vores computere og gadgets med fordel kan ses som "én maskine". Så alle vores skærme og brugerflader er med andre ord blot vinduer ind i den store verdensomspændende modermaskine. Det er jo en gammel klassiker at (fejl)citere IBM-chef Thomas Watson for, at der måske er et verdensmarked for fem computere, men som tech-guruerne siger for tiden ”Watson was only off by four”... Og det giver næsten sig selv, at det slet ikke er nok med en lille mus med et par knapper på, når vi skal navigere i det hav af data, som vi er omgivet af. Der er brug for, at hele kroppen interagerer med mediet. På den lange bane viser dette vejen mod en fremtid, hvor vores maskinpark kan tage imod en langt bredere vifte af inputs.

Nye inputs: Eyetracking, Ansigtstracking og Talegenkendelse
  • Eyetracking, hvor et kamera holder øje med, hvad brugeren kigger på og hvordan øjnene bevæger sig. Dette kan muligvis helt eller delvist erstatte traditionelle pegedevices som f.eks en mus. Et af de første steder, vi måske kommer til at se dette anvendt i dagligdagen, er i bilen; Mange uheld sker, fordi blikket er alle mulige andre steder end på kørebanen, og her kan eyetrackeren så slå alarm, før ulykken sker.
  • Ansigtstracking, der ligeledes via et kamera gør det muligt at aflæse ansigtsudtryk og f.eks tilbyde hjælp, hvis brugeren ser ud at være forvirret eller måske endda rasende. Det er muligt, fordi computeren er blevet kodet med en masse informationer om, hvad hvilke udtryk betyder hvornår.
  • Talegenkendelse er en gammel tech-traver, som dog har gjort store fremskridt de senere år. Mange af de nyere tiltag går på at bruge tale mere som et supplement til, frem for en egentlig erstatning for keyboard m.v. For eksempel kunne det være smart at flytte og markere ting med hænderne, mens man så verbalt kan afgive kommandoer som ”copy”, ”paste”, ”delete” osv.
  • Lidt længere ude i horisonten arbejdes der også på aflæsning af hjernebølger som en mulig metode til at kontrollere spil og andre former for interfaces. Det er fx muligt at styre en karakter i et computerspil blot ved at tænke ”højre - venstre” osv. Sidstnævnte teknik kræver i nogen tilfælde, at man ikke har for meget hår der, hvor sensorerne placeres (så mon ikke Facebook-gruppen for "Skaldede it-folk" vil vokse betydeligt i de kommende år? :-)
Fremtidsudsigter
Grundlæggeren af MIT Media Lab Nicholas Negroponte jokede tilbage i 1994 i en klumme i Wired med, at hans computer var dummere end et urinal, som i det mindste kan se, om der er nogen placeret foran det eller ej. Og selvom den pointe for så vidt står ved magt her 15 år senere, må man sige, at meget andet har ændret sig i mellemtiden. Så hvis vi vover at se bare 5-7 år ud i fremtiden, vil mange af de omtalte teknologier formodentlig være tilgængelige nede i Elgiganten eller i webshoppen hos Dell og Apple.

Håndtegn og knibeøvelser vil med andre ord høre til dagens orden, når der til den tid skal produceres videopræsentation til det virtuelle kvartalsmøde. Gigabit nettet vil pumpe strømme af højopløselige videoclips ned gennem firmaets Playstation4-baserede videoserver og videre ud til alt fra mikroskopiske håndholdte devices til den enorme LCD skærm i konferencerummet. Redigeringen sker på en MacCloud iPad, hvor man via en kombination af håndbevægelser, tale og touch-keyboard kan sammensætte den perfekte præsentation. Musen er nu død. Afløseren er din hånd. Det bedste redskab siden fingermaling i stenhulerne.  

Del artikel

Tilmeld dig vores nyhedsbrev

Vær på forkant med udviklingen. Få den nyeste viden fra branchen med vores nyhedsbrev.

Forsiden lige nu

Læs også

Job