De Chinese technocratie gebruikt een sociaal scoresysteem om de wetenschappelijke dictatuur te stimuleren

Belangrijkste bevindingen

• De Chinese overheid heeft de pilot-test van een sociaal kredietstelsel goedgekeurd dat gebruik maakt van de persoonlijke gegevens van burgers om onofficiële kredietscores toe te kennen, die voordelen en boetes met zich meebrengen die particuliere bedrijven en overheidsinstellingen beheren.
• De vijf dimensies van kredietscoregegevens zijn 'kredietgeschiedenis van gebruikers, gedragsgewoonten, vermogen om schulden af ​​te lossen, persoonlijke informatie en sociale netwerken'.
• De algoritmen die de creditscores afleiden, zijn handelsgeheimen, die vormen van testen verbieden die kunnen bepalen hoe ze werken.
• Blacklists van de overheid van debiteuren worden gedeeld met private en publieke credit scoringservices om individuen te verbieden bepaalde transacties uit te voeren.

Dit bericht, het tweede in a serie op mobiele betalingssystemen, onderzoekt een Chinese app voor mobiele betalingen die steeds vaker in buitenlandse media wordt besproken: testen van wat ooit een landelijk officieel sociaal kredietsysteem zou kunnen zijn om zijn traditionele analoge tegenhanger te vervangen. De meest populaire openbaar beschikbare sociale kredietscores worden momenteel uitgegeven via Sesame Credit, een bedrijf dat is opgericht door Alibaba-dochter Ant Financial. Westerse mediaberichten over het sociale kredietsysteem beschrijven een sciencefictionachtig fenomeen waarbij burgers scores krijgen op basis van hun online gedrag, financiële informatie en overheidsgegevens. De onthullingen van Ant Financial-vertegenwoordigers hebben gesuggereerd dat 's avonds laat surfen op het web, uren besteed aan het spelen van videogames en specifieke gekochte items allemaal iemands score kunnen verlagen. Of deze beweringen waar zijn of niet, de scoremechanismen van Sesame Credit bevinden zich nog in een experimentele fase en zijn daarom aan verandering onderhevig. Onze verkenning van potentiële beveiligings-, privacy- en andere kwesties van een dergelijk systeem is bedoeld om vragen op te roepen die kunnen dienen voor discussies over hoe het zal evolueren.

Al in 2003 is de Chinese overheid toonde interesse bij het creëren van een alomvattend middel om de scores van burgers toe te kennen die een verbetering zouden zijn ten opzichte van het ratingsysteem van het land. De Raad van State heeft onlangs de "Overzicht van voorschriften voor het bouwen van een sociaal kredietsysteem (2014-2020)" en momenteel hebben acht bedrijven de toestemming van de centrale bank gekregen om te handelen pilot testen van hun eigen sociale kredietstelsels, verwant aan de consumentenkredietbeoordelingen van Fair, Isaac and Company (FICO). Een deel van wat een dergelijke poging uniek maakt in China is de vaagheid en in sommige gevallen volledige afwezigheid van voorschriften met betrekking tot big data-verzameling voor kredietscore doeleinden, potentieel gebruik door derden van dergelijke scores en privacybescherming van de gebruikersgegevens die meespelen in credit score berekeningen. De nieuwe cyberveiligheidswet uitgebracht op november 7, 2016 bevat taal met betrekking tot privacybescherming, maar wordt pas in juni 2017 geïmplementeerd.

Dit artikel heeft betrekking op de sociale credit score-service van Sesame Credit, die Alipay-gebruikers momenteel kunnen kiezen om binnen de app te ontvangen. De scores van Sesame Credit zijn het populairste voorbeeld van hoe een nationaal Chinees sociaal kredietstelsel ooit zou kunnen werken, en geeft een idee van welke overwegingen Chinese bedrijven, burgers en de staat denken in zo'n systeem te moeten ingaan. Het is een onderdeel van een bredere Chinese regeringspoging om big data te benutten als middel voor sociale controle. Credit scores worden onderverdeeld in vijf dimensies: "Kredietgeschiedenis van gebruikers, gedragsgewoonten, vermogen om schulden af ​​te betalen, persoonlijke informatie en sociale netwerken." Korte beschrijvingen van elk van deze categorieën zijn opgenomen in de Sesame Credit-functie van Alipay, maar ze werpen geen licht op welke specifieke acties zou iemands score veranderen.

Think De Paper, 'Gedragsvoorkeuren' verwijzen naar acties zoals tijdige betaling van facturen en 'persoonlijke informatie' omvat leeftijd, geslacht, beroep en opleidingsgeschiedenis. Meer verontrustend zijn de slecht gedefinieerde "concepten van stabiliteit" waar Sesame Credit naar verluidt rekening mee houdt, waarop vertegenwoordigers van bedrijven hebben gesproken zonder duidelijk te definiëren. Dit lijken zeer subjectieve markers van iemands financiële en sociale status die bijdragen aan het kredietscoringsmechanisme. De hetzelfde artikel van De Paper stelt dat “als uw adres vaak verandert, uw kredietwaardigheid dienovereenkomstig zal dalen. Bovendien zullen de kredietgegevens van uw vrienden ook uw Sesam-punten beïnvloeden. ”De ruimte voor verkeerde voorstelling van zaken en discriminatie op basis van dergelijke factoren is breed, en de gedragsveranderende prikkels die hieraan ten grondslag liggen, zijn ook zorgwekkend. De belangrijkste credit data-wetenschapper van Yu, Yu Wujie heeft gezegd: "Als u regelmatig doneert aan een goed doel, zal uw credit score hoger zijn, maar het zal u niet vertellen hoeveel betalingen u elke maand moet doen ... maar [ontwikkeling] in deze richting [wordt uitgevoerd met] de hoop dat iedereen zal doneren. ”Bovendien Technologie directeur van Ant Financial, Li Yingyun, heeft verklaard dat “iemand die bijvoorbeeld 10 uur per dag videogames speelt, als een inactieve persoon wordt beschouwd, en iemand die vaak luiers koopt, wordt beschouwd als waarschijnlijk een ouder, die per saldo waarschijnlijk een gevoel heeft van verantwoordelijkheid. ”Deze verklaringen hebben tot nu toe de veroordelende Westerse media-aandacht voor sociaal krediet aangewakkerd, hoewel moet worden opgemerkt dat de enige manier om met zekerheid te weten dat de factoren die bedrijfsvertegenwoordigers aanhalen inderdaad scores kunnen verhogen of verlagen, zou zijn door de algoritmen te deconstrueren die ze bepalen, die zijn geëtiketteerd bedrijfsgeheimen.

Wat kunnen we zonder de mogelijkheid om statische of dynamische testen van de sociale kredietalgoritmen uit te voeren, afleiden hoe ze werken? Deng Yiming, de directeur van Sesame Credit's bedrijfsontwikkeling, heeft dat gezegd alleen 30 tot 40 procent van de gegevens gebruikt om kredietscores te genereren, is afkomstig van bedrijven en services die eigendom zijn van Alibaba. Afgezien van de gegevens die zijn verzameld via de activiteit van gebruikers in de Alipay-app, berekent Sesame Credit individuele scores met gegevens die zijn verzameld via de e-commerce websites van Alibaba, apps voor het delen van ritten en restaurants die zijn verbonden met Alipay, en van overheidsbureaus waarbij de wet, het onderwijs en de handel betrokken zijn. Een van de meest duidelijke voorbeelden van een dergelijke gegevensuitwisseling is Sesame Credit's band met het Hooggerechtshof, waarvan is gemeld dat het zijn zwarte lijst van debiteuren en anderen die gerechtelijke vonnissen hebben overtreden met het bedrijf heeft gedeeld om deze mensen te blokkeren van het doen van zogenaamde luxe aankopen in Taobao en Tmall. Deze regeling roept de vraag op of Sesame Credit gegevens in de tegenovergestelde richting deelt, waardoor de partnerbureaus mogelijk de transactie-informatie van gebruikers ontvangen. Deze samenwerkingen worden vaak overschaduwd door die waarin Sesame Credit met de particuliere sector samenwerkt om voordelen te bieden aan houders van een hoge score.

Op dit moment kunnen de voordelen van een hoge sociale kredietscore zijn het boeken van een huurauto of een hotelkamer zonder een aanbetaling te doen, leningen tegen lagere rentetarieven aan te gaan, online aankopen te verzenden om uit te proberen voordat u ervoor betaalt, en het verkrijgen van visa naar Luxemburg en Singapore via een versneld proces. Andere landen die belangstelling hebben getoond hieraan deel te nemen versnelde afgifte van visa inclusief Japan, Zuid-Korea, Sri Lanka en het Verenigd Koninkrijk. Er is gesproken over toekomstig gebruik van hoge kredietscores die zich uitstrekken tot matchmaking en het werven van banen, wat de mate onderstreept waarin bevooroordeelde input nieuwe sociale barrières zou kunnen creëren.

Chinese overheid beeldt het sociale kredietstelsel af als een middel om het vertrouwen tussen burgers en in lokale bedrijven te herstellen, zoals restaurants die worden gecontroleerd op naleving van gezondheidsvoorschriften. Een andere van de belangrijkste argumenten voor de oprichting van een sociaal kredietstelsel is dat het mensen in staat stelt traditioneel krediet op te bouwen om dit te kunnen doen: studenten, arbeiders, eigenaren van kleine bedrijven en dergelijke. Maar tot nu toe lijkt het erop dat de voordelen van het hebben van een hoge score (waarover eigenlijk is gespeculeerd) weinig gebruikers hebben bereikt) zijn degenen die de voorkeur geven aan degenen die in een betere financiële positie verkeren om overvloedige en frequente uitgaven te doen. Een kritiek is dat Sesame Credit scores verhoogt voor mensen die meer Alipay-transacties uitvoeren, wat het bedrijf ten zeerste heeft ontkend. De voorbeelden van hogere scores voor aankopen in verband met mensen die ouders zijn en lagere scores voor mensen die van huisadres veranderen, suggereren vaak verder dat een gebrek aan context kan leiden tot verkeerde voorstelling van acties van mensen die onevenredige gevolgen kunnen hebben.

Het is gevaarlijk om big data-initiatieven uit te leggen als het nemen van "objectieve" maatregelen van gebruikersgegevens, gedeeltelijk omdat het in gevallen waarin een indicator onnauwkeurig is, moeilijk wordt om dit punt te betwisten. Een voorbeeld uit een recent Wall Street Journal dit artikel betreft een vrouw die de metrokaart van haar zoon heeft gebruikt en een boete heeft gekregen voor een handeling die, naar een algoritme, diefstal lijkt te zijn. Dit kleine incident geeft aanleiding tot bezorgdheid over de gedecontexualiseerde manier waarop het scoren van sociale credits kan worden uitgevoerd. Wat, indien van toepassing, is een rechtsmiddel beschikbaar voor veel meer vervolgfouten onder een sociaal kredietstelsel?

De status van de huidige experimenten op dit gebied roept veel vragen op over gebruikersbescherming. Met betrekking tot de privacy van gebruikers is er weinig discussie geweest over de implicaties van het zichtbaar maken van individuele scores voor anderen. Alipay biedt een spel waarin vrienden elkaars creditscores kunnen raden en ze aan elkaar onthullen, bijvoorbeeld. Naast andere gebruikers, externe bedrijven die speciale services bieden aan houders van hoge creditscores, en de partnerbedrijven van de app, met welke derde partijen zullen Sesame Credit gegevens delen? De centralisatie van de gegevensverzamelingsmechanismen voor sociale kredietverlening dang'an-achtige dossiers van het online en offline leven van individuen des te draagbaarder, zoals verschillende media-rapporten hebben opgemerkt. Welke beveiligingsprocedures zijn er om deze opslagplaatsen van waardevolle persoonlijke informatie te beschermen?

In een ironie die menig bewakingsapparaat heeft geplaagd, kan de verspreiding van een sociaal kredietstelsel en de bijbehorende sensoren, QR-codes en andere hulpmiddelen voor het lezen van sporen nieuwe beveiligingsproblemen veroorzaken, los van de beweringen die het zou willen verminderen door bijna alomtegenwoordige monitoring van gedrag. Deze nieuwe bedreigingen betreffen de manieren waarop kredietscore-gegevens kunnen worden vervalst en de uiteinden waarvoor nep-kredietscores kunnen worden gebruikt. De versnelde veiligheidscontrole op de luchthaven van Beijing voor Sesame Credit-gebruikers met voldoende hoge scores die op binnenlandse vluchten reizen, is een voorbeeld van een situatie waarin een vervalste hoge score iemand in staat zou kunnen stellen om strengere veiligheidscontroles te omzeilen, wat voor een deskundige een bedreiging voor de nationale veiligheid kan zijn en vastberaden genoeg acteur. Hoe meer algemeen het sociale kredietstelsel wordt en hoe groter het bereik van beloningen dat het hoge scorers kan opleveren, des te meer prikkels om erachter te komen hoe het te hacken zal groeien. Artikelen en schroefdraad over hoe je je credit scores kunt verhogen zijn al in de lift, en het is nog steeds onduidelijk hoe gemakkelijk het kan zijn om een ​​specifiek account te hacken en informatie te vervalsen.

Zoals beschreven in een vorige post, heeft Alibaba te maken gehad met datalekken van bedrijfsmedewerkers en externe hacks. Het is absoluut noodzakelijk om je af te vragen welke voorzorgsmaatregelen ze nemen, aangezien de snelle opbouw van een sociaal kredietsysteem de bedrijven die haar rentmeesters zijn waarschijnlijk het doelwit zal maken van gegevensdiefstal en afpersing. Aangezien er in heel China een groot aantal gegevensverzamelende Internet of Things (IoT) -apparaten wordt verkocht, zullen de gedetailleerde mogelijkheden om elke beweging van burgers te volgen en uit deze informatie te putten als sociale kredietinput alleen maar sterker worden, en dit vereist werk van de kant. van IoT-fabrikanten om deze problemen aan te pakken. Een ontwikkeling die het potentieel heeft om de sociale kredietinstellingen transparanter te maken, was de aankondiging van de National Development and Reform Commission kredietevaluatiediensten zullen worden opengesteld voor buitenlandse investeringen, die op zijn minst meer informatie kan geven over hoe sociale creditscores van ondernemingen (voor restaurants en lokale bedrijven) worden uitgevoerd.

Het laatste punt van zorg en censuur dat we in overweging nemen, is de mogelijkheid van sociaal krediet en mobiele financiering toegang wordt geblokkeerd om burgers te bestraffen voor protestdaden, als slechts één voorbeeld. Als beide diensten onmisbaar worden in het dagelijks leven, kan de mogelijkheid van door de overheid gesanctioneerde bevriezing van gebruikersaccounts grote schade toebrengen aan burgerlijke vrijheden. Naarmate de uitrol van het systeem vordert, is het belangrijk om te onthouden dat hoewel de algoritmen die credit scores bepalen snel kunnen veranderen op manieren die gebruikers en onderzoekers niet kunnen waarnemen, de macht van de staat en de bedrijven die de ontwikkeling van het sociale kredietsysteem vormgeven veel meer verankerd, en is uiteindelijk verantwoordelijk voor de real-world resultaten die het sociale kredietstelsel kan opleveren.

Lees het volledige artikel hier ...