Nu kan Disneys kunstige intelligens se dit ansigt og forudse dine følelser i biografen

16x9
Disneys kunstige intelligens kan aflæse ansigtsudtryk og registrere samtlige tilskueres følelser under hele filmen. Foto: Caltech

Ansigtsudtryk er på vej til at blive en værdifuld vare. Et nyt system kan aflæse og forudse følelser hos samtlige tilskuere i biografsalen.

Du tænker sikkert slet ikke over det, men når din krop sidder musestille i den bløde stol i biografmørket, arbejder musklerne i dit ansigt på højtryk.

Det kan forudse hvert individs reaktion ud fra få minutters observation

Peter Carr, Disney Research

Og de små bevægelser er penge værd - mange penge.

For dit ansigtsudtryk afslører dine følelser, og tilskuernes følelser er nøglen til, om en film ender som en blockbuster eller som en billig dvd i supermarkedets rodekasse.

Det har Disney-koncernen nu taget konsekvensen af og brugt penge på et computersystem med kunstig intelligens, der kan aflæse alle biografgæsternes ansigtsudtryk på én gang og afkode deres følelser, mens filmen kører.

Og ikke nok med det. Computerprogrammet bliver hele tiden klogere. Efter cirka ti minutter foran et publikum kan det forudse, hvordan hver enkelt biografgæst vil reagere på den næste scene.

Filmen Inderst Inde fik publikum til at smile og le. Her har computeren identificeret de morsomste scener i filmen.
Filmen Inderst Inde fik publikum til at smile og le. Her har computeren identificeret de morsomste scener i filmen. Foto: Caltech

Det lyder som ren science fiction - men historien her er ikke fra fremtiden - den foregår nu og her, og den er netop beskrevet i en rapport fra California Institute of Technology og Simon Fraser University.

Det er forskere herfra, som har fået penge af Disney til arbejdet med det nye projekt.

For eksempel kan det bruges, når man skal udvikle systemer der skal hjælpe med at overvåge og tage sig af ældre mennesker.

Yison Yue, California Institute of Technology

Ingeniører og professorer fra universitetet har blandt andet testet den kunstige intelligens på tilskuere til filmene Inderst Inde, Zootropolis, Den Gode Dinosaur og Star Wars: The Force Awakens.

Videnskabsfolkene kalder deres program "factorized variational autoencoders" - eller FVAE i kort form.

Publikum så film i infrarødt lys

Programmet anvender fire infrarøde kameraer, som er i stand til at aflæse publikums ansigter i den mørke biografsal.

Forskerne lånte en biografsal med 400 sæder til udviklingsarbejdet.

Dernæst udstyrede de biografsalen med kameraer og en infrarød lyskilde, så publikums ansigter kunne ses tydeligt, uden at forsøget forstyrrede oplevelsen af filmen.

Computeren optager 12 billeder i sekundet og analyserer udviklingen i hvert eneste ansigtsudtryk blandt publikum.
Computeren optager 12 billeder i sekundet og analyserer udviklingen i hvert eneste ansigtsudtryk blandt publikum. Foto: Caltech

De infrarøde kameraer tog 12 billeder af publikum hvert sekund. Opløsningen på billederne var på 2750 gange 2200 pixels - altså en smule bedre end på et normalt HD fjernsyn.

Og selv om billederne af de enkelte ansigter på de bagerste rækker var en smule kornede -  15 gange 25 pixels - var computeren i stand til at aflæse deres udtryk.

Ind til videre har forskerne bag projektet kun offentliggjort materiale om positive følelser så som smil og latter.
Ind til videre har forskerne bag projektet kun offentliggjort materiale om positive følelser så som smil og latter. Foto: Caltech

Programmet registrerer, hvor meget hvert enkelt ansigt smiler eller griner, hvor meget øjnene er åbne, og hvordan ansigtets øvrige muskler bevæger sig.

Samtidig er computerprogrammet i stand til at sammenkæde ansigtsudtrykkene med scenerne i filmen, så programmet kan lære, hvad publikum synes er sjovt.

I det offentliggjorte materiale fra California Institute of Technology og Disney er der kun analyser af positive ansigtsudtryk som smil og latter - der er ingen skrig eller gråd, selv om teknologien utvivlsomt også vil kunne aflæse dette.

Computeren kan se ud i fremtiden

Men ikke nok med, at systemet kan aflæse folks følelser.

Det kan også forudse følelser.

Jo længere tid programmet ser på hvert ansigt, jo mere præcist kan det afgøre, hvad hver enkelt tilskuer føler.

- Med nok information kan systemet vurdere, hvordan publikum reagerer på en film med så stor præcision, at det kan forudse hvert eneste individs reaktion ud fra få minutters observation, siger Peter Carr, fra Disney Research.

Systemet lærer så at sige, hvordan hvert enkelt individ sandsynligvis vil reagere på filmens sekvenser, og det kan således med ret stor præcision forudsige den næste følelse hos hver enkelt tilskuer.

Ved hjælp af kunstig intelligens bliver der også ført statistik over ansigtsudtrykkene  - og statistikken kan så bruges til at ændre på filmenes manuskript eller rækkefølgen af billedsekvenser.

Den kunstige intelligens blev blandt andet afprøvet på publikum til den seneste Star Wars-film.
Den kunstige intelligens blev blandt andet afprøvet på publikum til den seneste Star Wars-film. Foto: TV 2

Som led i forsøget blev der gennemført i alt 150 visninger af ni film fra 2015 og 2016 - og derefter havde forskerne data nok til at kunne udarbejde deres rapport og finpudse computerprogrammet.

Men potentialet for den nye teknologi går langt ud over filmens verden, fortæller Yison Yue, der er assisterende professor ved California Institute of Technology.

- At forstå menneskelig adfærd er fundamentalt, når man skal udvikle computerprogrammer, der udviser større adfærdsmæssig og social intelligens, siger Yison Yue.

Systemet er til mere end underholdning

Han forudser, at systemet for eksempel kan anvendes i ældresektoren.

- For eksempel kan det bruges, når man skal udvikle systemer, der skal hjælpe med at overvåge og tage sig af ældre mennesker. Her kan systemerne opsamle signaler fra de ældres kropssprog. Når alt kommer til alt, udtrykker folk sig ikke altid helt klart, hvis man spørger dem, om de er ulykkelige eller har problemer, siger Yison Yue.

Indtil videre er systemet kun på forsøgsstadiet, men flere andre medie- og teknologivirksomheder arbejder med lignende systemer til at aflæse publikums følelser.