Algoritmen kunnen liegen en bedriegen, maar kunnen ze worden gestopt?

Algoritmen kunnen bepalen of u een hypotheek krijgt of hoeveel u betaalt voor een verzekering. Maar soms hebben ze het mis - en soms zijn ze ontworpen om te misleiden.

Veel algoritmen worden onbedoeld slecht. Sommigen van hen zijn echter crimineel gemaakt. Algoritmen zijn formele regels, meestal geschreven in computercode, die voorspellingen doen over toekomstige gebeurtenissen op basis van historische patronen. Om een ​​algoritme te trainen, moet u historische gegevens en een definitie van succes opgeven.

We hebben gezien dat financiën de afgelopen decennia zijn overgenomen door algoritmen. Handelsalgoritmen gebruiken historische gegevens om bewegingen in de markt te voorspellen. Succes voor dat algoritme is een voorspelbare marktbeweging, en het algoritme is waakzaam voor patronen die historisch vlak vóór die beweging zijn gebeurd. Financiële risicomodellen gebruiken ook historische marktveranderingen om cataclysmische gebeurtenissen in een meer globale zin te voorspellen, dus niet voor een individueel aandeel, maar voor een hele markt. Het risicomodel voor door hypotheek gedekte effecten was beroemd - opzettelijk - en het vertrouwen in die modellen kan worden verweten veel van de omvang en de daaropvolgende schade veroorzaakt door de financiële crisis van 2008.

Sinds 2008 hebben we minder gehoord van algoritmen in de financiële wereld, en veel meer van big data-algoritmen. Het doel van deze nieuwe generatie algoritmen is verschoven van abstracte markten naar individuen. Maar de onderliggende functionaliteit is hetzelfde: verzamel historische gegevens over mensen, profileer hun gedrag online, locatie of antwoorden op vragenlijsten, en gebruik die enorme dataset om hun toekomstige aankopen, stemgedrag of arbeidsethos te voorspellen.

De recente proliferatie in big data-modellen is grotendeels onopgemerkt gebleven door de gemiddelde persoon, maar het is veilig om te zeggen dat de belangrijkste momenten waarop mensen omgaan met grote bureaucratische systemen nu een algoritme in de vorm van een scoresysteem omvatten. Naar de universiteit gaan, een baan krijgen, als werknemer worden beoordeeld, een creditcard of verzekering krijgen, stemmen en zelfs politie worden in veel gevallen algoritmisch uitgevoerd. Bovendien is de technologie die in deze systematische beslissingen wordt geïntroduceerd, grotendeels ondoorzichtig, zelfs voor hun makers, en is ze tot dusver grotendeels ontsnapt aan betekenisvolle regelgeving, zelfs als deze faalt. Dat maakt de vraag welke van deze algoritmen voor ons werken nog belangrijker en urgenter.

Ik heb een hiërarchie van vier lagen als het gaat om slechte algoritmen. Bovenaan zijn er de onbedoelde problemen die culturele vooroordelen weerspiegelen. Toen professor Latanya Sweeney van Harvard bijvoorbeeld ontdekte dat Google naar zwarte namen zoekt gegenereerde advertenties geassocieerd met criminele activiteit, we kunnen aannemen dat er geen Google-ingenieur racistische code heeft geschreven. De advertenties zijn zelfs getraind om slecht te zijn door eerdere gebruikers van Google Zoeken, die eerder op een advertentie in het strafregister klikten toen ze naar een zwart klinkende naam zochten. Een ander voorbeeld: de Google afbeelding zoekresultaat voor "onprofessioneel haar", die bijna uitsluitend zwarte vrouwen terugbracht, wordt op dezelfde manier getraind door de mensen die door de tijd heen zoekresultaten plaatsen of erop klikken.

Lees hier het hele verhaal ...