“Ihmiset tekevät havaintoja monella eri tavalla. Hahmotamme ympäristöä sanallisesti ja eri aisteilla, eivätkä havaintomme ole ikinä täysin puolueettomia.
Tutkin väistökirjassani ihmisen tapoja havainnoida ympäristöään ja selvitän, voisiko koneälyä ohjelmoida havainnoimaan samoin. Tutkimus on taiteen, teknologian ja psykologian yhdistämistä, joka sopii monitieteellisen taustaani – olen opiskellut aiemmin esimerkiksi psykologiaa ja kuvataidetta. Nyt Aalto-yliopistossa teen väitöskirjaani sekä taiteen että tietotekniikan laitoksilla.
Yhteiskunnassa on perinteisesti totuttu hahmottamaan ympäristöä ennen kaikkea sanallisesti, kielellisten kategorioiden perusteella. Esimerkiksi tekoäly ohjelmoidaan tunnistamaan sanat “mies” ja “nainen”, ja luokittelemaan havainnot ihmisestä vajavaisesti näihin kahteen binääriseen kategoriaan.
Todellisuudessa ihmisten havainnot perustuvat moniin eri aisteihin, ja lähtökohtamme vaikuttavat niihin huomaamattamme. Esimerkiksi matala verensokeri voi vaikuttaa siihen, kuinka korkealta jyrkänne näyttää. Siksi on tärkeää, että sanalliset ja sanattomat, muihin aisteihin perustuvat, havainnot otetaan huomioon yhteiskunnassamme ja teknologiassa. Haluan ymmärtää, miten ihminen havaitsee sanatonta tietoa, mikä kaikki siihen vaikuttaa, ja miten tällaisia havaintoja voi mallintaa tekoälyn avulla.
Olemme esimerkiksi selvittäneet yhdessä tekniikan tutkijoiden kanssa, miten ihmiset reagoivat väreihin, ja miten tietoa voi hyödyntää koneoppimisessa. Seuraavaksi tavoitteenamme on rakentaa huomiomalli, joka kääntäisi havaintoja eri aistien välillä, vaikkapa kuvasta ääneksi ja toisin päin. Tällaiset havainnot ovat hyvin subjektiivisia, kuten tieto yleensäkin.
Aistit vaikuttavat toisiinsa myös universaalisti, kuten jyrkänne ja verensokeri -esimerkin kohdalla. Taiteellisen tutkimuksen ja koneoppimisen yhdistelmällä voidaan ilmentää laskennallisesti tämä moniaistinen tieto.
Haluan rakentaa tutkimuksellani siltoja eri alojen välille. Havaitsemisen sanatonta luonnetta on tutkittu taiteessa, mutta koneoppiminen tuo siihen uuden ulottuvuuden. Poikkitieteellisyys on kuitenkin myös haaste. Eri aloilla on erilaiset käytännöt ja samoista ilmiöistä saatetaan puhua täysin eri käsittein. Haluan madaltaa raja-aitoja seuraaville tutkijoille tuomalla eri alojen teoriaa yhteen ja kehittämällä aloja yhdistäviä, uusia toimintatapoja.
On hienoa huomata, kuinka käsitys tiedosta ja havainnoista laajenee koko ajan. Yhteiskunnassamme on tärkeää ymmärtää, että kokijan lähtökohdat kuten ennakko-oletukset, mielentilat ja eri aistit vaikuttavat siihen, millaisen maailman hän havaitsee. Uskon, että tulevaisuudessa eri tutkimusaloja yhdistävä havaintojen tutkimus laajenee.”
Mitä alallasi pitäisi tutkia seuraavaksi? Miksi?
“Seuraavaksi olisi kiinnostavaa yhdistää teoria havaitsemisesta käytäntöön. Olen opiskellut aiemmin päihde- ja mielenterveystyötä ja minua kiinnostaa, miten erilaiset mielentilat vaikuttavat havaintoihin. On esimerkiksi huomattu, että masentuneet ihmiset havaitsevat vähemmän kontrasteja. Olisi kiinnostavaa tutkia, voisiko kontrastia teknologian avulla korostamalla laajentaa ihmisen tapaa ajatella.”
Mikä tai kuka on viimeksi avartanut mieltäsi tutkimuksen saralla?
“Minua inspiroivat tutkijat, jotka ajattelevat monialaisesti. Esimerkiksi Marisa Carrascon tutkimukset huomiosta tuovat teorian kiinnostavasti lähelle estetiikan kysymyksiä. Lisäksi tutkija Dieter Mersch on teoretisoinut taiteellista tutkimusta ja puhuu taiteen tuottamasta tiedosta mielenkiintoisesti. Minua innostaa ajattelu, joka pyrkii tarkasteleemaan kriittisesti tiedon kysymystä, ja ymmärtämään tilaa tieteellisen ja taiteellisen tiedon välissä.”
Minkä villin unelman tahtoisit tutkimustyössä toteuttaa, jos raha ei olisi este?
“Perustaisin monialaisen laboratorion, jossa usean eri alan asiantuntijat tutkisivat yhdessä moniaistisia ilmiöitä taidevetoisesti teknologian avulla. Ajattelen, että taiteellista ilmaisua laskennallistamalla voidaan saada hyvin konkreettista ja hyödyllistä tietoa sisäisestä kokemuksesta. Unelmani on, että uudet tutkimusmenetelmät ja teknologiat toisivat taiteen ja tieteen rinnakkain tasavertaisiksi tavoiksi tuottaa uutta tietoa.”
Avarra mieltäsi aiheesta lisää:
Xiadong He luennoi Microsoft research -sarjassa moniaistisesta konehuomiosta.
Lue lisää taiteellisesta tutkimuksesta Kuvataideakatemian sivuilta.
Tutustu Jaanan tutkimukseen ja julkaisuihin Aalto-yliopiston sivuilla.