Hoe gesigsherkenningstegnologie rassig gebrekkig en bevooroordeeld is

Hoe gesigsherkenningstegnologie rassig gebrekkig en bevooroordeeld is
Gesigsherkenningsalgoritmes word gewoonlik met behulp van wit gesigte getoets, wat daartoe lei dat die tegnologie nie tussen rasistiese individue kan onderskei nie. (Shutter)

Die polisie in Detroit het Robert Julian-Borchak Williams in Januarie 2020 verkeerdelik gearresteer vir 'n winkeldiefstal wat twee jaar tevore plaasgevind het. Alhoewel Williams niks met die voorval te doen gehad het nie, het die gesigsherkenningstegnologie wat deur die Michigan State Police gebruik is, sy gesig 'gepas' met 'n korrelige beeld wat verkry is uit 'n video in die winkel waar 'n ander Afro-Amerikaanse man 'n horlosie van US $ 3,800 XNUMX geneem het.

Twee weke later is die saak op versoek van die vervolging van die hand gewys. Op grond van die foutiewe wedstryd het die polisie Williams egter voor die familie van die hand geboei en in hegtenis geneem, hom gedwing om 'n mokskoot, vingerafdrukke en 'n monster van sy DNA te gee, hom ondervra en oornag in die tronk gesit.

Kenners meen dat Williams nie alleen is nie, en dat ander aan soortgelyke onregte onderwerp is. Die voortdurende polemiek oor die gebruik van die polisie van Clearview AI onderstreep beslis die privaatheidsrisiko's wat gesigsherkenningstegnologie inhou. Maar dit is belangrik om dit te besef nie almal dra dieselfde risiko's nie.

Opleiding van rassistiese algoritmes

Gesigsherkenningstegnologie wat is opgelei en afgestem op Kaukasiese gesigte rassistiese individue stelselmatig verkeerd geïdentifiseer en verkeerd gemerk: etlike studies meld dat tegnologie vir gesigsherkenning “gebrekkig en bevooroordeeld, met aansienlik hoër foute as dit teen mense van kleur gebruik word. "

dit ondermyn die individualiteit en menslikheid van rasistiese persone wat meer waarskynlik as misdadiger geïdentifiseer word. Die tegnologie - en die identifiseringsfoute wat dit maak - weerspieël en versterk die langdurige sosiale verdeeldheid wat diep verstrengel is met rassisme, seksisme, homofobie, kolonialisme van setlaars en ander onderdrukkende kruisings.


'N France24-ondersoek na rassevooroordeel in tegnologie vir gesigsherkenning.

Hoe tegnologie gebruikers kategoriseer

In sy spelveranderende boek van 1993, Die Panoptic Sort, geleerde Oscar Gandy, het gewaarsku dat “komplekse tegnologie [wat] die insameling, verwerking en deel van inligting oor individue en groepe behels wat deur hul daaglikse lewe gegenereer word…. word gebruik om hul toegang tot die goedere en dienste wat die lewe in die lewe definieer, te koördineer en te beheer die moderne kapitalistiese ekonomie. ” Wetstoepassing gebruik dit om verdagtes uit die breë publiek te haal, en private organisasies gebruik dit om te bepaal of ons toegang het tot dinge soos bank en indiensneming.


Kry die nuutste van InnerSelf


Gandy het profeties gewaarsku dat hierdie vorm van “kubernetiese triage”, indien dit onaangeraak word, eksponensieel lede van gelykheid-soekende gemeenskappe sal benadeel - byvoorbeeld groepe wat rassisties of sosio-ekonomies benadeel is - beide wat aan hulle toegewys sal word en hoe hulle hulself kan verstaan.

Sowat 25 jaar later leef ons nou met die panoptiese soort steroïede. En daar is voorbeelde van die negatiewe gevolge daarvan vir gemeenskappe wat gelykheid soek, soos die valse identifikasie van Williams.

Vooroordeel wat vooraf bestaan

Hierdie sortering met behulp van algoritmes infiltreer die mees fundamentele aspekte van die alledaagse lewe en lei tot direkte sowel as strukturele geweld.

Die direkte geweld wat Williams ervaar het, is onmiddellik duidelik in die gebeure rondom sy inhegtenisneming en aanhouding, en die individuele skade wat hy ervaar het, is voor die hand liggend en kan opgespoor word na die optrede van die polisie wat verkies het om op die "wedstryd" van die tegnologie te vertrou om 'n arrestasie te maak. Meer verraderlik is die strukturele geweld uitgevoer deur gesigsherkenningstegnologie en ander digitale tegnologieë dat individue beoordeel, pas, kategoriseer en sorteer op maniere wat die bestaande diskriminerende patrone vergroot.

Strukturele geweldskade is minder voor die hand liggend en minder direk, en veroorsaak skade aan groepe wat gelykheid soek deur sistematiese ontkenning van mag, hulpbronne en geleenthede. Terselfdertyd verhoog dit die direkte risiko en skade vir individuele lede van daardie groepe.

Voorspellende polisiëringsgebruike algoritmiese verwerking van historiese gegewens om te voorspel wanneer en waar nuwe misdade waarskynlik sal voorkom, ken polisiehulpbronne dienooreenkomstig toe en verleen beter polisiebewaking in gemeenskappe, gewoonlik in laerinkomste en rassistiese woonbuurte. Dit verhoog die kanse dat enige kriminele aktiwiteite - insluitend minder ernstige kriminele aktiwiteite wat andersins geen reaksie op die polisie kan veroorsaak nie - opgespoor en gestraf word, wat uiteindelik die lewenskans van mense wat binne daardie omgewing woon, beperk.

En die getuienis van ongelykhede in ander sektore neem steeds toe. Honderde studente in die Verenigde Koninkryk protesteer op 16 Augustus teen die rampspoedige gevolge van Gewoonlik, 'n foutiewe algoritme wat die Britse regering gebruik het om te bepaal watter studente vir universiteit sou kwalifiseer. In 2019 is Facebook se mikrotargeting-advertensiediens het dosyne werkgewers in die openbare en private sektor gehelp sluit mense uit van posadvertensies op grond van ouderdom en geslag. Navorsing wat deur ProPublica gedoen is, is gedokumenteer rasgebaseerde prysdiskriminasie vir aanlynprodukte. En soekenjins lewer gereeld rassistiese en seksistiese resultate.

Die voortbestaan ​​van onderdrukking

Hierdie uitkomste is belangrik omdat dit bestaande ongelykhede voortduur en verdiep op grond van eienskappe soos ras, geslag en ouderdom. Dit maak ook saak, want dit beïnvloed die manier hoe ons onsself en die wêreld rondom ons leer ken, soms deur vooraf die inligting te selekteer ons ontvang op maniere wat stereotipiese persepsies versterk. Selfs tegnologiemaatskappye erken self die dringendheid om algoritmes te voorkom om diskriminasie voort te sit.

Die sukses van ad hoc-ondersoeke wat deur die tegniese ondernemings self gedoen is, was tot dusver strydig. Soms onttrek ondernemings wat betrokke is by die vervaardiging van diskriminerende stelsels hulle uit die mark, soos wanneer Clearview AI het aangekondig dat hy nie meer gesigsherkenningstegnologie in Kanada sal aanbied nie. Maar dikwels is sulke besluite slegs voortspruitend uit regulatoriese ondersoek of openbare uitroep na lede van gemeenskappe wat gelykheid soek, is al skade berokken.

Dit is tyd om ons regulerende instellings die nodige instrumente te gee om die probleem aan te spreek. Eenvoudige beskerming van privaatheid wat afhang van die verkryging van individuele toestemming om data deur ondernemings vas te lê en weer te gebruik, kan nie van die diskriminerende uitkomste van daardie gebruik geskei word nie. Dit is veral waar in 'n era waarin die meeste van ons (insluitend tegnologiemaatskappye self) kan nie ten volle begryp wat algoritmes doen of waarom dit spesifieke resultate lewer nie.

Privaatheid is 'n mensereg

'N Deel van die oplossing behels die afbreek van die huidige regulerende silo's wat privaatheid en menseregte as afsonderlike kwessies behandel. Vertrou op 'n toestemmingsgebaseerde databeskermingsmodel, vlieg dit te midde van die basiese beginsel dat privaatheid en gelykheid albei menseregte is wat nie weggedoen kan word nie.

Selfs Kanada se digitale handves - die jongste poging van die federale regering om te reageer op die tekortkominge in die huidige stand van die digitale omgewing - handhaaf hierdie konseptuele onderskeidings. Dit behandel haat en ekstremisme, beheer en toestemming, en sterk demokrasie as aparte kategorieë.

Om algoritmiese diskriminasie aan te spreek, moet ons privaatheid en gelykheid as menseregte erken en raam. En ons moet 'n infrastruktuur skep wat ewe oplettend en kundig is in albei. Sonder sulke pogings sal die glans van wiskunde en wetenskap voortgaan om die diskriminerende vooroordele van AI te kamoefleer, en daar kan verwag word dat vervalle mense soos Williams toegedien word, sal vermeerder.Die gesprek

Oor die outeurs

Jane Bailey, professor in regte en medeleier van die eQuality-projek, L'Université d'Ottawa / Universiteit van Ottawa; Jacquelyn Burkell, mede-vise-president, navorsing, Wes-Universiteit, en Valerie Steeves, volle professor, L'Université d'Ottawa / Universiteit van Ottawa

Hierdie artikel is gepubliseer vanaf Die gesprek onder 'n Creative Commons lisensie. Lees die oorspronklike artikel.

enafarzh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

volg InnerSelf op

Facebook-ikoonTwitter-ikoonrss-ikoon

Kry die nuutste per e-pos

Emailcloak = {af}

Ondersteun 'n goeie werk!

UIT DIE REDAKTEURS

InnerSelf Nuusbrief: Oktober 18, 2020
by InnerSelf Personeel
Deesdae leef ons in mini-borrels ... in ons eie huise, op die werk en in die openbaar, en moontlik in ons eie gemoed en met ons eie emosies. Om egter in 'n borrel te leef, of te voel asof ons is ...
InnerSelf Nuusbrief: Oktober 11, 2020
by InnerSelf Personeel
Die lewe is 'n reis en, soos die meeste reise, kom met sy wel en wee. En net soos die dag altyd die nag volg, gaan ons persoonlike daaglikse ervarings van donker na lig en heen en weer. Maar ...
InnerSelf Nuusbrief: Oktober 4, 2020
by InnerSelf Personeel
Wat ons ook al deurgaan, individueel en gesamentlik, ons moet onthou dat ons nie hulpelose slagoffers is nie. Ons kan ons krag herwin om ons eie pad te kerf en ons lewens geestelik te genees ...
InnerSelf Nuusbrief: September 27, 2020
by InnerSelf Personeel
Een van die groot krag van die mensdom is ons vermoë om buigsaam te wees, kreatief te wees en buite die boks te dink. Om iemand anders te wees as wat ons gister of eergister was. Ons kan verander ...
Wat vir my werk: "Vir die hoogste voordeel"
by Marie T. Russell, InnerSelf
Die rede waarom ek 'wat vir my werk' deel, is dat dit ook vir u kan werk. As dit nie presies soos ek dit doen nie, aangesien ons almal uniek is, kan die afwyking van die houding of metode heel moontlik iets wees ...