Hoe Algoritmes kan beter wees as mense

Amazon het onlangs begin aanbied dieselfde dag aflewering in geselekteerde metropolitaanse gebiede. Dit kan goed wees vir baie kliënte, maar die uitrol wys hoe gerekenariseerde besluitneming ook 'n sterk dosis diskriminasie kan lewer.

Die maatskappy het waarskynlik begin met diens in gebiede waar afleweringskoste die laagste sou wees, deur zip-codes van digbevolkte plekke te identifiseer, tuis aan baie bestaande Amazon-kliënte, met inkomstevlakke wat hoog genoeg is om gereelde aankope van produkte beskikbaar te maak vir dieselfde aflewering. Die maatskappy het 'n webblad verskaf sodat kliënte hul poskode ingevoer het om te sien of dieselfde aflewering hulle gedien het. Ondersoekende joernaliste by Bloomberg News het daardie bladsy gebruik maak kaarte van Amazon se diensarea vir dieselfde dag aflewering.

Die Bloomberg-analise het aan die lig gebring dat baie arm stedelike gebiede uitgesluit is van die diensgebied, terwyl meer welgestelde naburige gebiede ingesluit is. Baie van hierdie uitgesluit arm gebiede is oorwegend bewoon deur minderhede. Byvoorbeeld, al Boston was bedek behalwe Roxbury; New York City dekking ingesluit byna al vier gemeentes, maar die Bronx heeltemal uitgesluit; Chicago-dekking het die arm Suid-kant uitgelaat, terwyl dit aansienlik uitgebrei het tot welgestelde noordelike en westelike voorstede.

Alhoewel dit aanloklik is om te glo dat data-gedrewe besluite onbevooroordeeld is, navorsing en wetenskaplike bespreking begin om dit te demonstreer onregverdigheid en diskriminasie bly. In my aanlyn kursus oor data-etiek, leer studente dit algoritmes kan diskrimineer. Maar daar kan 'n bietjie van 'n silwer voering wees: Soos die Bloomberg-navorsing suggereer, kan die besluite op data ook makliker opspoor wanneer vooroordeel ontstaan.

Bies kan onbedoeld wees

Onbillikheid soos dit in Amazon se afleweringsbeleid kan vir baie redes ontstaan, insluitend verborge vooroordeel - soos aannames dat bevolkings eenvormig verdeel word. Algoritme-ontwerpers sal waarskynlik nie van plan is om te diskrimineer nie, en mag nie eers agterkom dat 'n probleem ingekom het nie.


innerself teken grafiese in


Amazon het aan Bloomberg gesê dit het geen diskriminerende bedoeling gehad nie, en daar is elke rede om daardie eis te glo. In reaksie op die Bloomberg-verslag, Stad amptenare en ander politici het Amazon opgeroep om hierdie probleem op te los. Die maatskappy beweeg vinnig om by te voeg die oorspronklik uitgesluit swak stedelike poskodes na sy diensgebied.

'N Soortgelyke vraag is gevra van uber, wat 'n beter diens bied aan gebiede wat bewoon word deur hoër persentasies wit mense. Daar sal waarskynlik meer voorbeelde van kleinhandel- en diensbedryf wees vir onbedoelde algoritmiese diskriminasie wat in die toekoms ontdek word.

Vra te veel van algoritmes?

Ons moet 'n oomblik wag om te oorweeg of ons algoritmiese besluite onnodig aandring. Maatskappye wat steen-en-mortier winkels bedryf, maak altyd plekbesluite, met inagneming van kriteria wat nie anders as Amazon is nie. Winkels poog om plekke te vind wat gerieflik is vir 'n groot poel potensiële kliënte met geld om te spandeer.

Gevolglik kies 'n paar winkels in arm, middestadse gebiede. Veral in die konteks van kruidenierswinkels, is hierdie verskynsel omvattend bestudeer en die term "kos woestyn"Is gebruik om stedelike gebiede te beskryf wie se inwoners nie gerieflik toegang tot vars kos het nie. hierdie ligging vooroordeel word minder bestudeer vir kleinhandelwinkels oor die algemeen.

As 'n aanduidende voorbeeld het ek gekyk na die 55 Michigan-liggings van Target, 'n groot omvattende kleinhandelketting. Toe ek elke Michigan-poskode gesorteer het op grond van die feit dat sy gemiddelde inkomste in die boonste helfte of onderste helfte van die staat was, het ek bevind dat slegs 16 van die Target-winkels (29 persent) in poskodes van die laer inkomstegroep was. Meer as twee keer soveel, 39-winkels, is in poskodes van die meer welvarende helfte geplaas.

Identifisering van diskriminasie

Daarbenewens is daar geen Target-winkels in die stad Detroit nie, alhoewel daar verskeie in sy (ryker) voorstede is. Tog was daar geen gewilde uitroepe wat beweer dat Target onbillik teen armes diskrimineer in sy winkelbeslissingsbesluite nie. Daar is twee hoofredes waarom die kommer oor Amazon geregverdig is: rigiditeit en oorheersing.

Rigiditeit het te doen met beide die aanlynhandelaar se besluitnemingsprosesse en met die gevolg. Amazon besluit watter poskodes in sy diensgebied is. As 'n kliënt net oorkant die straat van die grens van Amazon woon, woon sy buite die diensgebied en kan dit min doen. Daarenteen kan iemand wat in 'n poskode woon sonder 'n teikenwinkel, steeds by Target winkel - alhoewel dit dalk langer neem om daar te kom.

Dit maak ook saak hoe dominante 'n kleinhandelaar in verbruikers se gedagtes is. Terwyl Target net een van die vele fisiese winkelkettings is, geniet Amazone mark dominansie as 'n web handelaar, en lok dus meer aandag. Sulke oorheersing is 'n kenmerk van vandag se wenner-neem-alles web besighede.

Terwyl hul styfheid en oorheersing ons meer besorgdheid oor aanlynbesighede kan veroorsaak, kan ons ook hul diskriminasie beter opspoor as wat ons vir steen-en-mortier winkels is. Vir 'n tradisionele kettingwinkel moet ons raai hoe ver verbruikers bereid is om te reis. Ons moet dalk ook kennis hê van die tyd: Vyf myl na die volgende snelweg afrit is nie dieselfde as vyf myl oor die oorbelaste strate na die ander kant van die dorp nie. Verder kan die reistyd self wyd wissel, afhangende van die tyd van die dag. Na die identifisering van die waarskynlike areas wat 'n winkel bedien, mag hulle nie netjies in kaarte in geografiese eenhede waarvoor ons statistieke oor ras of inkomste het nie. Kortom, die analise is rommelig en vereis baie moeite.

In teenstelling hiermee sou joernaliste by Bloomberg net 'n paar uur geneem het om 'n kaart van Amazon se diensgebied te ontwikkel en dit met inkomste of ras te korreleer. As Amazon dit intern gedoen het, kon hulle binne enkele minute dieselfde ontleding gedoen het. Miskien het hulle die probleme opgemerk en vasgestel voordat dieselfde diens selfs begin het.

Hoe vergelyk mense met mekaar?

Kom ons kyk na 'n heel ander voorbeeld om te sien hoe dieselfde punte breedweg van toepassing is. Onlangs het ProPublica gepubliseer 'n uitstekende analise van rassediskriminasie deur 'n algoritme wat voorspel dat 'n misdadiger se waarskynlikheid weer aanstoot neem. Die algoritme beskou dekades faktore en bereken 'n waarskynlikheidsskatting. ProPublica se analise het beduidende sistematiese rassevooroordeel gevind, alhoewel ras nie onder die spesifieke faktore was nie.

Sonder die algoritme sou 'n menslike regter 'n soortgelyke skatting maak as deel van 'n vonnisoplegging of paroolbesluit. Die menslike besluit kan 'n ryker stel faktore oorweeg, soos die misdadiger se hofsaalgedrag. Maar ons weet, van studies in sielkunde, Wat Menslike besluitneming is vol van vooroordeel, selfs as ons ons bes probeer om regverdig te wees.

Maar enige foute wat voortspruit uit vooroordeel in menslike beoordelaars se besluite, sal waarskynlik verskil tussen regters en selfs vir verskillende besluite wat deur dieselfde regter gemaak word. In die geheel kan daar rassediskriminasie wees onderbewuste vooroordeel, maar om dit afdoende te vestig, is moeilik. 'N Amerikaanse departement van justisie departement het sterk bewyse van verskille in vonnisoplegging van wit en swart skuldigbevindinge, maar kon nie duidelik bepaal of ras self 'n faktor in daardie besluite was nie.

In teenstelling hiermee word presies dieselfde algoritme ProPublica gekyk, in duisende gevalle in baie lande gebruik. Die rigiditeit, en die groot volume, vergemaklik die werk om te bepaal of dit diskrimineer - en kan maniere bied om die probleem doeltreffend reg te stel.

Die gebruik van inligtingstegnologie blyk te maak lyne helderder, verskille sterker en data oor al hierdie baie makliker beskikbaar. Wat nou gister onder die rug geborsel kan word, skel nou vir aandag. Aangesien ons meer en meer gebruike vir data-gedrewe algoritmes vind, is dit nog nie algemeen om hul billikheid te analiseer nie, veral voor die uitrol van 'n nuwe data-gebaseerde diens. Om dit so te doen, sal 'n lang pad volg om die billikheid van hierdie toenemend belangrike gerekenariseerde berekeninge te meet en te verbeter.

Oor Die SkrywerDie gesprek

HV Jagadish, Bernard A Gallerie Kollegiale Professor in Elektriese Ingenieurswese en Rekenaarwetenskap, Universiteit van Michigan

Hierdie artikel is oorspronklik gepubliseer op Die gesprek. Lees die oorspronklike artikel.

verwante Boeke

at InnerSelf Market en Amazon