Gesigsherkenningsalgoritmes word gewoonlik met behulp van wit gesigte getoets, wat daartoe lei dat die tegnologie nie tussen rasistiese individue kan onderskei nie. (Shutter)
Die polisie in Detroit het Robert Julian-Borchak Williams in Januarie 2020 verkeerdelik gearresteer vir 'n winkeldiefstal wat twee jaar tevore plaasgevind het. Alhoewel Williams niks met die voorval te doen gehad het nie, het die gesigsherkenningstegnologie wat deur die Michigan State Police gebruik is, sy gesig 'gepas' met 'n korrelige beeld wat verkry is uit 'n video in die winkel waar 'n ander Afro-Amerikaanse man 'n horlosie van US $ 3,800 XNUMX geneem het.
Twee weke later is die saak op versoek van die vervolging van die hand gewys. Op grond van die foutiewe wedstryd het die polisie Williams egter voor die familie van die hand geboei en in hegtenis geneem, hom gedwing om 'n mokskoot, vingerafdrukke en 'n monster van sy DNA te gee, hom ondervra en oornag in die tronk gesit.
Kenners meen dat Williams nie alleen is nie, en dat ander aan soortgelyke onregte onderwerp is. Die voortdurende polemiek oor die gebruik van die polisie van Clearview AI onderstreep beslis die privaatheidsrisiko's wat gesigsherkenningstegnologie inhou. Maar dit is belangrik om dit te besef nie almal dra dieselfde risiko's nie.
Opleiding van rassistiese algoritmes
Gesigsherkenningstegnologie wat is opgelei en afgestem op Kaukasiese gesigte rassistiese individue stelselmatig verkeerd geïdentifiseer en verkeerd gemerk: etlike studies meld dat tegnologie vir gesigsherkenning “gebrekkig en bevooroordeeld, met aansienlik hoër foute as dit teen mense van kleur gebruik word. "
dit ondermyn die individualiteit en menslikheid van rasistiese persone wat meer waarskynlik as misdadiger geïdentifiseer word. Die tegnologie - en die identifiseringsfoute wat dit maak - weerspieël en versterk die langdurige sosiale verdeeldheid wat diep verstrengel is met rassisme, seksisme, homofobie, kolonialisme van setlaars en ander onderdrukkende kruisings.
{vembed Y = vSuDE6wvQlU}
'N France24-ondersoek na rassevooroordeel in tegnologie vir gesigsherkenning.
Hoe tegnologie gebruikers kategoriseer
In sy spelveranderende boek van 1993, Die Panoptic Sort, geleerde Oscar Gandy, het gewaarsku dat “komplekse tegnologie [wat] die insameling, verwerking en deel van inligting oor individue en groepe behels wat deur hul daaglikse lewe gegenereer word…. word gebruik om hul toegang tot die goedere en dienste wat die lewe in die lewe definieer, te koördineer en te beheer die moderne kapitalistiese ekonomie. ” Wetstoepassing gebruik dit om verdagtes uit die breë publiek te haal, en private organisasies gebruik dit om te bepaal of ons toegang het tot dinge soos bank en indiensneming.
Gandy het profeties gewaarsku dat hierdie vorm van “kubernetiese triage”, indien dit onaangeraak word, eksponensieel lede van gelykheid-soekende gemeenskappe sal benadeel - byvoorbeeld groepe wat rassisties of sosio-ekonomies benadeel is - beide wat aan hulle toegewys sal word en hoe hulle hulself kan verstaan.
Sowat 25 jaar later leef ons nou met die panoptiese soort steroïede. En daar is voorbeelde van die negatiewe gevolge daarvan vir gemeenskappe wat gelykheid soek, soos die valse identifikasie van Williams.
Vooroordeel wat vooraf bestaan
Hierdie sortering met behulp van algoritmes infiltreer die mees fundamentele aspekte van die alledaagse lewe en lei tot direkte sowel as strukturele geweld.
Die direkte geweld wat Williams ervaar het, is onmiddellik duidelik in die gebeure rondom sy inhegtenisneming en aanhouding, en die individuele skade wat hy ervaar het, is voor die hand liggend en kan opgespoor word na die optrede van die polisie wat verkies het om op die "wedstryd" van die tegnologie te vertrou om 'n arrestasie te maak. Meer verraderlik is die strukturele geweld uitgevoer deur gesigsherkenningstegnologie en ander digitale tegnologieë dat individue beoordeel, pas, kategoriseer en sorteer op maniere wat die bestaande diskriminerende patrone vergroot.
Strukturele geweldskade is minder voor die hand liggend en minder direk, en veroorsaak skade aan groepe wat gelykheid soek deur sistematiese ontkenning van mag, hulpbronne en geleenthede. Terselfdertyd verhoog dit die direkte risiko en skade vir individuele lede van daardie groepe.
Voorspellende polisiëringsgebruike algoritmiese verwerking van historiese gegewens om te voorspel wanneer en waar nuwe misdade waarskynlik sal voorkom, ken polisiehulpbronne dienooreenkomstig toe en verleen beter polisiebewaking in gemeenskappe, gewoonlik in laerinkomste en rassistiese woonbuurte. Dit verhoog die kanse dat enige kriminele aktiwiteite - insluitend minder ernstige kriminele aktiwiteite wat andersins geen reaksie op die polisie kan veroorsaak nie - opgespoor en gestraf word, wat uiteindelik die lewenskans van mense wat binne daardie omgewing woon, beperk.
En die getuienis van ongelykhede in ander sektore neem steeds toe. Honderde studente in die Verenigde Koninkryk protesteer op 16 Augustus teen die rampspoedige gevolge van Gewoonlik, 'n foutiewe algoritme wat die Britse regering gebruik het om te bepaal watter studente vir universiteit sou kwalifiseer. In 2019 is Facebook se mikrotargeting-advertensiediens het dosyne werkgewers in die openbare en private sektor gehelp sluit mense uit van posadvertensies op grond van ouderdom en geslag. Navorsing wat deur ProPublica gedoen is, is gedokumenteer rasgebaseerde prysdiskriminasie vir aanlynprodukte. En soekenjins lewer gereeld rassistiese en seksistiese resultate.
Die voortbestaan van onderdrukking
Hierdie uitkomste is belangrik omdat dit bestaande ongelykhede voortduur en verdiep op grond van eienskappe soos ras, geslag en ouderdom. Dit maak ook saak, want dit beïnvloed die manier hoe ons onsself en die wêreld rondom ons leer ken, soms deur vooraf die inligting te selekteer ons ontvang op maniere wat stereotipiese persepsies versterk. Selfs tegnologiemaatskappye erken self die dringendheid om algoritmes te voorkom om diskriminasie voort te sit.
Die sukses van ad hoc-ondersoeke wat deur die tegniese ondernemings self gedoen is, was tot dusver strydig. Soms onttrek ondernemings wat betrokke is by die vervaardiging van diskriminerende stelsels hulle uit die mark, soos wanneer Clearview AI het aangekondig dat hy nie meer gesigsherkenningstegnologie in Kanada sal aanbied nie. Maar dikwels is sulke besluite slegs voortspruitend uit regulatoriese ondersoek of openbare uitroep na lede van gemeenskappe wat gelykheid soek, is al skade berokken.
Dit is tyd om ons regulerende instellings die nodige instrumente te gee om die probleem aan te spreek. Eenvoudige beskerming van privaatheid wat afhang van die verkryging van individuele toestemming om data deur ondernemings vas te lê en weer te gebruik, kan nie van die diskriminerende uitkomste van daardie gebruik geskei word nie. Dit is veral waar in 'n era waarin die meeste van ons (insluitend tegnologiemaatskappye self) kan nie ten volle begryp wat algoritmes doen of waarom dit spesifieke resultate lewer nie.
Privaatheid is 'n mensereg
'N Deel van die oplossing behels die afbreek van die huidige regulerende silo's wat privaatheid en menseregte as afsonderlike kwessies behandel. Vertrou op 'n toestemmingsgebaseerde databeskermingsmodel, vlieg dit te midde van die basiese beginsel dat privaatheid en gelykheid albei menseregte is wat nie weggedoen kan word nie.
Selfs Kanada se digitale handves - die jongste poging van die federale regering om te reageer op die tekortkominge in die huidige stand van die digitale omgewing - handhaaf hierdie konseptuele onderskeidings. Dit behandel haat en ekstremisme, beheer en toestemming, en sterk demokrasie as aparte kategorieë.
Om algoritmiese diskriminasie aan te spreek, moet ons privaatheid en gelykheid as menseregte erken en raam. En ons moet 'n infrastruktuur skep wat ewe oplettend en kundig is in albei. Sonder sulke pogings sal die glans van wiskunde en wetenskap voortgaan om die diskriminerende vooroordele van AI te kamoefleer, en daar kan verwag word dat vervalle mense soos Williams toegedien word, sal vermeerder.
Oor die outeurs
Jane Bailey, professor in regte en medeleier van die eQuality-projek, L'Université d'Ottawa / Universiteit van Ottawa; Jacquelyn Burkell, mede-vise-president, navorsing, Wes-Universiteit, en Valerie Steeves, volle professor, L'Université d'Ottawa / Universiteit van Ottawa
Hierdie artikel is gepubliseer vanaf Die gesprek onder 'n Creative Commons lisensie. Lees die oorspronklike artikel.
Boeke oor ongelykheid van Amazon se lys met topverkopers
"Caste: Die oorsprong van ons ontevredenheid"
deur Isabel Wilkerson
In hierdie boek ondersoek Isabel Wilkerson die geskiedenis van kastestelsels in samelewings regoor die wêreld, insluitend in die Verenigde State. Die boek ondersoek die impak van kaste op individue en die samelewing, en bied 'n raamwerk om ongelykheid te verstaan en aan te spreek.
Klik vir meer inligting of om te bestel
"Die kleur van die wet: 'n vergete geskiedenis van hoe ons regering Amerika geskei het"
deur Richard Rothstein
In hierdie boek ondersoek Richard Rothstein die geskiedenis van regeringsbeleid wat rassesegregasie in die Verenigde State geskep en versterk het. Die boek ondersoek die impak van hierdie beleide op individue en gemeenskappe, en bied 'n oproep tot aksie om voortdurende ongelykheid aan te spreek.
Klik vir meer inligting of om te bestel
"Die som van ons: wat rassisme almal kos en hoe ons saam kan floreer"
deur Heather McGhee
In hierdie boek ondersoek Heather McGhee die ekonomiese en sosiale koste van rassisme, en bied 'n visie vir 'n meer regverdige en welvarende samelewing. Die boek bevat verhale van individue en gemeenskappe wat ongelykheid uitgedaag het, sowel as praktiese oplossings vir die skep van 'n meer inklusiewe samelewing.
Klik vir meer inligting of om te bestel
"Die tekortmite: moderne monetêre teorie en die geboorte van die mense se ekonomie"
deur Stephanie Kelton
In hierdie boek daag Stephanie Kelton konvensionele idees oor staatsbesteding en die nasionale tekort uit, en bied 'n nuwe raamwerk om ekonomiese beleid te verstaan. Die boek bevat praktiese oplossings om ongelykheid aan te spreek en 'n meer regverdige ekonomie te skep.
Klik vir meer inligting of om te bestel
"The New Jim Crow: Mass Incarceration in the Age of Colorblindness"
deur Michelle Alexander
In hierdie boek ondersoek Michelle Alexander die maniere waarop die strafregstelsel rasse-ongelykheid en diskriminasie voortduur, veral teen Swart Amerikaners. Die boek bevat 'n historiese ontleding van die stelsel en die impak daarvan, sowel as 'n oproep tot aksie vir hervorming.
