Toen opperrechter John G. Roberts Jr. vorige maand het Rensselaer Polytechnic Institute bezocht, hem werd een verrassende vraag gesteld, eentje met een ondertoon van sciencefiction.
"Kun je een dag voorzien," vroeg Shirley Ann Jackson, president van het college in de staat New York, “wanneer slimme machines, aangedreven door kunstmatige intelligentie, zullen helpen bij het vinden van feiten in de rechtszaal of, controversiëler zelfs, bij de rechterlijke besluitvorming?”
Het antwoord van de opperrechter was verrassender dan de vraag. “Het is een dag die daar is,” zei hij, “en die legt een aanzienlijke druk op de manier waarop de rechterlijke macht te werk gaat.”
Hij heeft misschien nagedacht over de zaak van een man uit Wisconsin, Eric L. Loomis, die tot zes jaar gevangenisstraf was veroordeeld gedeeltelijk gebaseerd op de eigen software van een particulier bedrijf. De heer Loomis zegt dat zijn recht op een eerlijk proces werd geschonden doordat een rechter een rapport in overweging had genomen dat was gegenereerd door het geheime algoritme van de software, een rapport dat de heer Loomis niet kon inspecteren of betwisten.
Als signaal dat de rechters geïntrigeerd waren door de zaak van de heer Loomis, vroegen zij in maart de federale regering om een vriend-van-de-rechtbankbrief in te dienen geeft zijn mening over de vraag of de rechtbank zijn beroep moet behandelen.
Het rapport in de zaak van de heer Loomis werd geproduceerd door een product genaamd Compas, verkocht door Northpointe Inc. Het bevatte een reeks staafdiagrammen die het risico inschatten dat de heer Loomis meer misdaden zou begaan.
Het Compas-rapport, zo vertelde een aanklager aan de rechter, toonde “een hoog risico op geweld, een hoog risico op recidive, een hoog risico in vooronderzoek.” De rechter was het daarmee eens en vertelde de heer Loomis dat “u door de Compas-beoordeling wordt geïdentificeerd als een persoon die een hoog risico voor de gemeenschap vormt.”
Het Hooggerechtshof van Wisconsin oordeelde tegen Mr. Loomis. Het rapport voegde waardevolle informatie toe, aldus het rapport, en de heer Loomis zou dezelfde straf hebben gekregen uitsluitend op basis van de gebruikelijke factoren, waaronder zijn misdaad – het ontvluchten van de politie in een auto – en zijn criminele geschiedenis.
Tegelijkertijd leek de rechtbank zich ongemakkelijk te voelen bij het gebruik van een geheim algoritme om een man naar de gevangenis te sturen. Justitie Ann Walsh Bradley, schrijven voor de rechtbank, besproken bijvoorbeeld, een rapport van ProPublica over Compas dat gesloten dat zwarte beklaagden in Broward County, Florida, “veel waarschijnlijker dan blanke beklaagden ten onrechte werden beoordeeld als een hoger recidivepercentage.”
Rechter Bradley merkte op dat Northpointe dat had gedaan betwistte de analyse. Toch schrijft ze: “Deze en andere onderzoeken roepen zorgen op over de manier waarop de risicofactoren van een Compas-beoordeling correleren met ras.”
Maar uiteindelijk stond rechter Bradley toe dat rechters Compas gebruikten. Ze moeten rekening houden met de beperkingen van het algoritme en de geheimhouding eromheen, schreef ze, maar zei dat de software nuttig zou kunnen zijn “door de rechtbank van zoveel mogelijk informatie te voorzien om tot een geïndividualiseerd vonnis te komen.”
Rechter Bradley liet de rol van Compas bij de veroordeling klinken als de overweging van ras in het holistische toelatingsprogramma van een selectieve universiteit. Het zou een van de vele factoren kunnen zijn, schreef ze, maar niet de doorslaggevende factor.
De Blake's 1980 TV-serie uit de jaren 7 had een doosje waarin Blake en zijn vrienden werden beoordeeld en naar de strafkolonie op Jupiter werden gestuurd. Ik denk dat het in de eerste aflevering van Blake's 7 is waar ze voor de rechtbank staan.