Heinäkuussa 2018 Tukholmassa pidettiin viides FATML-työpaja kansainvälisen koneoppimiskonferenssin yhteydessä. Kirjainyhdistelmä FATML tulee sanoista Fair (reilu), Accountable (vastuullinen), Transparent (läpinäkyvä) ja Machine Learning (koneoppiminen). Suomennettuna kyseessä on siis Reilu, Vastuullinen ja Läpinäkyvä Koneoppiminen (RVLK).
Tiivistän tässä artikkelissa työpajan keskeiset kysymykset.
Reiluus
Kuinka määritellä, mitata ja käsitteellistä koulutusdataa koneoppimismalleille?
Keskeisenä tavoitteena on suunnitella tiedonkeruumenetelmiä, jotka rajoittavat (mahdollisesti puolueellisten) ennustusten vaikutusta. Tutkija Juhani Luotolahden kanssa olemme aiemmin määritelleet, että ”hyvä koneoppiminen on reilua koneoppimista”. Tämä määritelmä liittyy koulutusdatan tasapainottamiseen (epätasapainoinen data on yksi keskeinen syy mallien mahdolliseen puolueellisuuteen).
Mitkä ovat mielekkäitä formaaleja oikeudenmukaisuuskriteerejä? Mitkä ovat niiden rajoitukset?
Klassinen vastaus, kun kysytään ”Onko koneelle mahdollista opettaa moraalia?” on: Kyllä, jos osaat määritellä moraalin matemaattisesti. Sanana koneoppiminen on harhaanjohtava, koska ihmiset mieltävät koneen oppimisen samanlaiseksi kuin ihmisten oppimisen, johon liittyy abstraktioiden, käsitteiden ja sosiaalisten suhteiden mieltämistä. Kone ei opi mitään tällaista, vaan se ainoastaan ratkaisee matemaattisia kaavoja.
Kone ei ole älykäs eikä se opi, vaan se laskee tehokkaammin kuin ihminen. Tällöin moraalin ratkaisemiseksi ongelma pitää asettaa matemaattiseen muotoon. Koska tässä ei vielä ainakaan toistaiseksi ole onnistuttu, toiseksi paras ratkaisu on rajoittaa koneen päätöksentekovaltaa — kriittisissä päätöksissä ihmisen pitää niin sanotusti ”painaa nappia”, koska päätöksentekoon liittyvät abstraktiot ovat koneelle vieraita. Tekoäly on siis enemmänkin päätöksenteon tukijärjestelmä kuin itsenäinen päätöksentekijä.
Pitäisikö meidän johtaa oikeudenmukaisuuden määritelmät laista? Ovatko muodolliset oikeudenmukaisuuskriteerit yhteensopivia lain kanssa?
Kuten oikean ja väärän kanssa, koneella ei myöskään ole minkäänlaista ymmärrystä laittomasta tai laillisesta toiminnasta, ellei sitä erikseen ohjelmoida. Eri maiden oikeusjärjestelmät eroavat merkittävästi toisistaan, mikä vaikeuttaa yleismaailmallisen järjestelmän kehittämistä. Lähimpänä koneoppimista ovat kirjoitettujen lakien järjestelmät (eng. code law), jossa eri rikoksille on luotu suhteellisen tarkat määritelmät ja rangaistukset. Kuitenkin lakien soveltamiseen liittyy lähes aina keskeisenä osana tulkinta, ja on hankalaa kuvitella, että päätöksentekoa uskallettaisiin antaa koneelle.
Soveltaen aikaisempaa ajattelua päätöksentekojärjestelmästä, koneoppiminen voisi kuitenkin toimia oikeusjärjestelmän osana esimerkiksi niin, että se antaisi puolueettoman suosituksen koodatun todistusaineiston ja aikaisempien päätösten perusteella. Lakien soveltamisessa on havaittu puolueellisuutta, jota kone voisi paikata. Kuitenkin viime kädessä koneen päätöksentekoa ei voi pitää esimerkiksi rikoslain alaisena, sillä kone tai algoritmi ei ole oikeustoimikelpoinen. Sen sijaan oikeussubjektit, esimerkiksi algoritmeja kehittävät suuryritykset, ovat hyvinkin vastuussa teoistaan, ja niiden tuleekin kiinnittää huomiota algoritmisen päätöksenteon lainmukaisuuteen.
Kenen pitäisi päättää, mikä on oikeudenmukaista, jos oikeudenmukaisuus tulee koneoppimistavoitteeksi?
Etenkin nykyisessä sosiaalisen median ”toksisessa” eli vihamielisessä ympäristössä jokainen ryhmä kokee olevansa oikeassa. Kysymyksenä on silloin, voimmeko määritellä universaalisti pätevät oikeudenmukaisuuden kriteerit, vai omaksummeko arvorelativismin? Jälkimmäisessä tapauksessa oikeudenmukaisuuden soveltamisesta tulee haasteellisempaa, koska näkemykset siitä vaihtelevat. Toisaalta, mikäli löydämme päällekkäisyyttä eri arvokäsitysten välillä, sovellettavasta moraalikoodistosta saattaa tulla helpommin toteuttava.
Onko olemassa vaaraa oikeudenmukaisuuden alistamisessa laskennalliseksi ongelmaksi?
Aiemmin mainitsin haasteet moraalin eksaktissa määrittelyssä, mutta on myös aiheellista pohtia koko tavoitteen järjellisyyttä. Mikäli kuvittelemme määrittelevämme koneoppimisen eettiset säännöt täydellisesti, saattaa se johtaa algoritmien vallan merkittävään lisäykseen. Jos olimmekin väärässä, olemme nyt antaneet vallan toimijalle, joka noudattaa virheellistä kaavaa.
Vastuullisuus
Mitä ihmisen toteuttama arviointi sisältäisi, jos mallit olivat käytettävissä suoraan tarkastukseen?
Tämä kysymys koskee koneoppimisen auditointia reiluuden varalta. Ei ole lainkaan selvää, mitkä ovat tällaisen analyysin ohjenuoria. Aiemmin olen määritellyt Algoritmien valta -blogissa, että koneoppimisen reiluuteen liittyvät haasteet saattavat johtua joko (a) niiden kehittäjien puolueellisista valinnoista, (b) algoritmin eli matemaattisen kaavan mallista, tai (c) epätasapainoisesta datasta. Käyttäen näitä seikkoja perusperiaatteena koneoppimisen reiluuden auditointi varmasti sisältäisi algoritmin lähdekoodin arviointia, sen kehittäjän antaman eettisen lausunnon (”ethical statement”) läpikäynnin sekä algoritmin testiajon epätasapainoisella datalla, joka olisi synteettisesti tuotettu puolueellisuuksien paljastamiseksi. Toistaiseksi tällainen arviointi on vasta visio, sillä alalla ei ole vakiintuneita standardeja tai käytäntöjä sen toteuttamiseen.
Voimmeko todistaa, että algoritmi käyttäytyy jollakin tavalla ilman algoritmin paljastamista? Voimmeko saavuttaa vastuullisuutta ilman avoimuutta?
Nämä kysymykset ovat kriittisiä yritysten näkökulmasta. Yrityspuolen algoritmit ovat tyypillisesti liikesalaisuuksia, joita ei haluta paljastaa koko maailmalle. Niiden tekemien päätösten tai suositusten eettinen tarkastelu on kuitenkin tärkeää. Eräänä vaihtoehtona on luoda julkisia tai kolmannen sektorin toimijoita, jotka salassapitosopimuksia noudattaen auditoivat algoritmisia päätöksentekojärjestelmiä.
Läpinäkyvyys
Miten voimme kehittää tulkittavia koneen oppimismenetelmiä, jotka tarjoavat tapoja hallita mallin monimutkaisuutta ja/tai tuottaa mielekkäitä selityksiä?
Selitettävyys on yksi keskeinen tutkimuskohde algoritmisessa päätöksenteossa tällä hetkellä. Järjestelmiin yritetään luoda käyttöliittymiä, jotka tarjoavat lisätietoa esimerkiksi siitä, miksi kyseinen mainos on näytetty juuri tietylle käyttäjälle. Keskeistä näissä malleissa on käyttökokemus – tapa esittää selitykset käyttöä hankaloittamatta, pitämällä niiden yksinkertaisuus oikealla tasolla ja valitsemalla tietoa, joka vastaa käyttäjän informaatiotarpeisiin ovat osa-alueita, jotka vaihtelevat sovelluksittain ja täten vaativat empiiristä testaamista.
Voimmeko käyttää synteettista dataa oppiaksemme algoritmien sisäisestä toiminnasta? Voimmeko oppia tavoista, joilla ne epäonnistuvat reunatapauksissa?
Ensimmäinen kysymys liittyy standardiaineistojen luomiseen, joilla koneoppimismalleja voitaisiin testata. Käytännössä näitä ei juuri löydy, paria poikkeusta lukuunottamatta. Koska käytännössä muuttujat, eli koneoppimismallin piirteet, vaihtelevat sovellusalueittain, pitäisi olla työkalu, jonka avulla voitaisiin helposti luoda epätasapainoisia datasettejä algoritmien testaamiseen eri konteksteissa. Toinen kysymys liittyy mallien kouluttamiseen silloin, kun ne epäonnistuvat eli antavat epäreiluja suosituksia. Käytännössä pitäisi pystyä osoittamaan virheet syöttämällä uutta dataa vahvistetun oppimisen muodossa. Selkeä analogia tässä on tapa, jolla lapsi oppii oikean ja väärän: väärän tekemisestä seuraa rangaistus.
Kuinka voimme käyttää peliteoriaa ja koneen oppimista rakentaaksemme läpinäkyviä, mutta kestäviä malleja, joissa käytetään palkkioita ja kustannuksia toiminnan seurauksista?
Edellä mainitun vahvistetun oppimisen lisäksi rankaisun ja kannustinten vaikutusta on matemaattisesti mallinnettu peliteorian saralla jo vuosikymmeniä. Peliteoriassa agentit eli päätöksentekijät tekevät päätöksiä, joiden tulokset määrittävät strategisen optimin. Väärällä päätöksellä on siis kustannus. Tämä analogia toimii hyvin, koska myös koneoppimismallit toimivat minimoidakseen ”kustannuksen”, joka on tyypillisesti ennustuksiin liittyvä tarkkuusvirhe.
Kirjoittaja Joni Salminen työskentelee tutkijana Turun yliopistossa. Salmisen blogiteksti on julkaistu alun perin Algoritmien valta -sivustolla. Jutun kuva: Alexandre Debieve.