Mense wat aansoek doen om 'n lening by 'n bank of kredietkaartmaatskappy, en afgekeur word, is 'n verduideliking van hoekom dit gebeur het. Dit is 'n goeie idee - want dit kan help om mense te leer hoe om hul beskadigde krediet te herstel - en dit is 'n federale wet, die Gelyke Kredietgeleentheidswet. Om 'n antwoord te kry was nie veel van 'n probleem in die verlede nie, toe die mens daardie besluite geneem het. Maar vandag, aangesien kunsmatige intelligensie stelsels toenemend mense help of vervang wat kredietbesluite neem, word dit moeiliker om die verduidelikings te kry.

Tradisioneel kan 'n leningsbeampte wat 'n aansoek verwerp het, 'n lener sê dat daar 'n probleem was met hul inkomstevlak, of werkgeskiedenis, of Wat die probleem ook al was. Maar gerekenariseerde stelsels wat kompleks gebruik machine learning Modelle is moeilik om te verduidelik, selfs vir kundiges.

Beslissings kredietbesluite is net een manier waarop hierdie probleem ontstaan. Soortgelyke kommer bestaan ​​in gesondheidsorg, aanlyn bemarking en selfs kriminele geregtigheid. My eie belangstelling in hierdie gebied het begin toe 'n navorsingsgroep ek deel van ontdek was geslagsvooroordeel in hoe aanlyn advertensies geteiken is, maar kon nie verduidelik hoekom dit gebeur het nie.

Al die nywerhede, en vele ander, wat masjienleer gebruik om prosesse te ontleed en besluite te neem, het 'n bietjie meer as 'n jaar om baie beter te kry om te verduidelik hoe hul stelsels werk. In Mei 2018, die nuwe Algemene Regulasies vir die Beskerming van die Europese Unie van die Europese Unie tree in werking, insluitende 'n afdeling wat mense die reg gee om 'n verduideliking te kry vir geoutomatiseerde besluite wat hul lewens beïnvloed. Watter vorm moet hierdie verduidelikings neem, en kan ons hulle eintlik verskaf?

Identifisering van hoofredes

Een manier om te beskryf waarom 'n outomatiese besluit uitkom soos dit gedoen het, is om die faktore wat die invloedrykste in die besluit was, te identifiseer. Hoeveel van 'n kredietontkenningsbesluit was omdat die aansoeker nie genoeg geld gemaak het nie, of omdat hy nie in die verlede lenings terugbetaal het nie?

My navorsingsgroep by Carnegie Mellon Universiteit, insluitende die PhD-student Shayak Sen en destydse postdoc Yair Zick, het 'n manier geskep om meet die relatiewe invloed van elke faktor. Ons noem dit die Kwantitatiewe Inset Invloed.

Benewens beter begrip van 'n individuele besluit, kan die meting ook op 'n groep besluite lig: Het 'n algoritme krediet geweier hoofsaaklik as gevolg van finansiële kommer, soos hoeveel 'n aansoeker reeds aan ander skuld skuld? Of was die aansoeker se poskode belangriker - wat daarop dui dat meer basiese demografie soos ras dalk in die spel kon kom?

Vaslegging van oorsaak

Wanneer 'n stelsel besluite neem wat gebaseer is op verskeie faktore, is dit belangrik om te identifiseer watter faktore die besluite en hul relatiewe bydrae tot gevolg het.

Stel byvoorbeeld 'n kredietbesluitstelsel voor wat net twee insette, 'n aansoeker se skuld-tot-inkomste-verhouding en haar wedloop vereis, en dit is bewys dat lenings net vir Kaukasiërs goedgekeur word. Om te weet hoeveel elke faktor tot die besluit bygedra het, kan ons help om te verstaan ​​of dit 'n wettige stelsel is of of dit diskrimineer.

'N Verduideliking kan net na die insette en die uitkoms kyk en korrelasie waarneem - nie-Kaukasiërs het nie lenings gekry nie. Maar hierdie verduideliking is te simplisties. Gestel die nie-Kaukasiërs wat lenings geweier is, het ook baie laer inkomste gehad as die Kaukasiërs wie se aansoeke suksesvol was. Dan kan hierdie verduideliking ons nie vertel of die aansoekers se wedloop of skuld-tot-inkomste-verhouding die ontkennings veroorsaak het nie.

Ons metode kan hierdie inligting verskaf. Om die verskil te verklaar beteken dat ons kan uitstel of die stelsel onregverdig diskrimineer of na regmatige kriteria kyk, soos aansoekers se finansies.

Om die invloed van ras in 'n spesifieke kredietbesluit te meet, doen ons die aansoekproses weer, hou die skuld-tot-inkomste-verhouding dieselfde, maar verander die wedloop van die aansoeker. As die ren verander, raak dit nie die uitslag nie, ons weet ras is 'n beslissende faktor. Indien nie, kan ons aflei dat die algoritme slegs op die finansiële inligting kyk.

Benewens die identifisering van faktore wat veroorsaak word, kan ons hul relatiewe kousale invloed op 'n besluit meet. Ons doen dit deur ewekansig die faktor te verander (bv. Ras) en te meet hoe belangrik dit is om die uitkoms te verander. Hoe hoër die waarskynlikheid, hoe groter die invloed van die faktor.

Aggregerende invloed

Ons metode kan ook verskeie faktore insluit wat saamwerk. Oorweeg 'n besluitstelsel wat krediet verleen aan aansoekers wat aan twee van die drie kriteria voldoen: krediet telling bo 600, eienaarskap van 'n motor, en of die aansoeker 'n huislening ten volle terugbetaal het. Sê 'n aansoeker, Alice, met 'n krediet telling van 730 en geen motor of huislening nie, word krediet geweier. Sy wonder of haar motor eienaarskap status of die terugbetaling geskiedenis van die huislening die hoofrede is.

'N Analoog kan help verduidelik hoe ons hierdie situasie analiseer. Oorweeg 'n hof waar besluite geneem word deur die meerderheidstem van 'n paneel van drie regters, waar een konserwatief is, een liberaal en die derde 'n swaaistem, iemand wat dalk by een van haar kollegas kan kantel. In 'n 2-1 konserwatiewe besluit het die swaai regter 'n groter invloed gehad op die uitslag as die liberale regter.

Die faktore in ons kredietvoorbeeld is soos die drie beoordelaars. Die eerste regter stem gewoonlik ten gunste van die lening, want baie aansoekers het 'n hoë genoeg krediet telling. Die tweede regter stem byna altyd teen die lening omdat baie min aansoekers ooit 'n huis afbetaal het. Dus kom die besluit neer op die swaai regter, wat in Alice se geval die lening verwerp omdat sy nie 'n motor besit nie.

Ons kan hierdie redenasie presies deur gebruik te maak koöperatiewe spelteorie, 'n stelsel om meer spesifiek te analiseer hoe verskillende faktore bydra tot 'n enkele uitkoms. In die besonder, ons kombineer ons metings van relatiewe kousale invloed met die Shapley waarde, wat 'n manier is om te bereken hoe om invloed op veelvoudige faktore toe te pas. Saam vorm dit ons Kwantitatiewe Inset Invloedmeting.

Tot dusver het ons ons metodes oor besluitstelsels geëvalueer wat ons geskep het deur algemene rekenaarleeralgoritmes op te lei met werklike wêrelddatastelle. Evaluering van algoritmes by die werk in die werklike wêreld is 'n onderwerp vir toekomstige werk.

'N Oop uitdaging

Ons metode van analise en verduideliking van hoe algoritmes besluite neem, is die beste in instellings waar die faktore maklik deur mense verstaan ​​word, soos die verhouding tussen skuld en inkomste en ander finansiële kriteria.

Om die besluitnemingsproses van meer komplekse algoritmes te verduidelik, bly egter 'n belangrike uitdaging. Neem byvoorbeeld 'n beeldherkenningstelsel, soos dié wat opspoor en spoor gewasse. Dit is nie baie nuttig om 'n bepaalde beeld se evaluering te verduidelik nie, gebaseer op individuele pixels. Ideaal gesien wil ons 'n verduideliking hê wat addisionele insig gee in die besluit - soos om spesifieke tumor eienskappe in die beeld te identifiseer. Trouens, die ontwerp van verduidelikings vir sulke geoutomatiseerde besluitnemingstake hou baie navorsers in stand besig.

Oor Die Skrywer

Anupam Datta, Medeprofessor in Rekenaarwetenskap en Elektriese en Rekenaaringenieurswese, Carnegie Mellon Universiteit

Hierdie artikel is oorspronklik gepubliseer op Die gesprek. Lees die oorspronklike artikel.

verwante Boeke

at InnerSelf Market en Amazon