Het is elke keer weer schrikken voor de zaal als we op her podium vertellen over Sesame Credit. Gezichten vol met afschuw zien we dan. Want niemand wil in een land leven waarin hij of zij continue zichtbaar gewaardeerd wordt met een puntensysteem. Vooral niet als je door punten toegang krijgt tot diensten of dat ze je worden afgenomen. In 2020 is Sesame Credit systeem in 2020 verplicht voor iedereen. En heb je hoge punten dan krijg je toegang tot onderwijs, leningen, sociale voorzieningen. Heb je er te weinig dan gaat je internet snelheid naar beneden of dan mag je niet meer met de trein reizen. Dan blijft er één vraag over; Leven we al in The Matrix?

Sinds 2015 vertellen we dit verhaal over Sesame Credit in onze Wake-Up Call:

We hebben ook een blog op onze site staan hierover. Maar afgelopen weekend kwam op Wired deze longread met nog meer actuele informatie over Sesame Credit

Test
Hieronder heb ik een test gedaan. De hele longread is vertaald met Deepl.com, een nieuwe translator op basis van AI. Ik vind het verrassend goed. Dit is de integraal vertaalde tekst van Rachel Botsman:

Zaterdag 21 oktober 2017
Op 14 juni 2014 publiceerde de Chinese Staatsraad een ominous-sounding document met de titel “Planning Outline for the Construction of a Social Credit System”. In de vorm van Chinese beleidsdocumenten was het een lange en nogal droge zaak, maar het bevatte een radicaal idee. Wat als er een nationale trustscore was die de soort burger die u was, beoordeelde?

Stel je een wereld voor waarin veel van je dagelijkse activiteiten voortdurend werden gemonitord en geëvalueerd: wat je koopt in de winkels en online; waar je op elk moment bent; wie je vrienden zijn en hoe je ermee omgaat; hoeveel uur je inhoud kijkt of videospelletjes speelt; en welke rekeningen en belastingen je betaalt (of niet). Het is niet moeilijk te zien, want het grootste deel van dat gebeurt al, dankzij al die gegevens verzamelen kolossen zoals Google, Facebook en Instagram of health-tracking apps zoals Fitbit. Maar stel je nu een systeem voor waarin al deze gedragingen als positief of negatief worden beoordeeld en in één enkel getal worden gedestilleerd, volgens de regels van de overheid. Dat zou je Citizen Score creëren en het zou iedereen vertellen of je betrouwbaar was of niet. Bovendien zou uw rating publiekelijk worden gerangschikt ten opzichte van die van de hele bevolking en worden gebruikt om vast te stellen of u in aanmerking komt voor een hypotheek of een baan, waar uw kinderen naar school kunnen gaan – of zelfs alleen maar uw kansen om een datum te krijgen.

Een futuristische visie van Big Brother zonder controle? Nee, het is al begonnen in China, waar de overheid het Social Credit System (SCS) aan het ontwikkelen is om de betrouwbaarheid van haar 1,3 miljard burgers te beoordelen. De Chinese regering werpt het systeem op als een wenselijke manier om het “vertrouwen” in het hele land te meten en te vergroten en een cultuur van “oprechtheid”op te bouwen. Zoals het beleid stelt:”Het zal een omgeving creëren waarin de publieke opinie zich openstelt voor een omgeving waar het houden van vertrouwen glorieus is. Het zal de oprechtheid in overheidszaken, de commerciële oprechtheid, de sociale oprechtheid en de opbouw van de geloofwaardigheid van justitie versterken”.

Anderen zijn minder optimistisch over het bredere doel. “Het is zeer ambitieus, zowel in diepgang als reikwijdte, met inbegrip van het onderzoeken van individueel gedrag en wat boeken mensen lezen. Het is Amazon’s consumentenvolgsysteem met een Orwelliaanse politieke twist,” is hoe Johan Lagerkvist, een Chinese internetspecialist van het Zweeds Instituut voor Internationale Zaken, het sociale kredietstelsel beschrijft. Rogier Creemers, een postdoctorale geleerde gespecialiseerd in Chinees recht en bestuur aan het Van Vollenhoven Instituut aan de Universiteit Leiden, die een uitgebreide vertaling van het plan publiceerde, vergeleek dit met “Yelp recensies met de nanny state watch over je schouder”.

Voorlopig is deelname aan de Chinese Citizen Scores technisch gezien nog vrijwillig. Tegen 2020 zal het echter verplicht zijn. Het gedrag van iedere burger en rechtspersoon (waaronder elke onderneming of entiteit) in China zal worden beoordeeld en gerangschikt, of hij dat nu leuk vindt of niet.

Voorafgaand aan de nationale uitrol in 2020 volgt de Chinese overheid een waakzame aanpak. In dit huwelijk tussen communistisch toezicht en kapitalistische can-do heeft de overheid acht private bedrijven een vergunning verleend om systemen en algoritmes te bedenken voor sociale credit scores. Waarschijnlijk leiden data reuzen momenteel twee van de bekendste projecten.

De eerste is met China Rapid Finance, een partner van het sociale netwerk van Tencent en ontwikkelaar van de messaging app WeChat met meer dan 850 miljoen actieve gebruikers. Het andere, Sesame Credit, wordt beheerd door de Ant Financial Services Group (AFSG), een gelieerde onderneming van Alibaba. Ant Financial verkoopt verzekeringsproducten en verstrekt leningen aan kleine tot middelgrote ondernemingen. De echte ster van Ant is echter AliPay, de betaalarm die mensen gebruiken om niet alleen online dingen te kopen, maar ook voor restaurants, taxi’ s, schoolgeld, bioscoopkaartjes en zelfs om geld naar elkaar over te maken.

Sesame Credit heeft ook samengewerkt met andere data genererende platformen, zoals Didi Chuxing, het ride-hailing bedrijf dat Uber’s belangrijkste concurrent in China was voordat het de Chinese activiteiten van het Amerikaanse bedrijf in 2016 verwierf, en Baihe, de grootste online matchmaking service van het land. Het is niet moeilijk om te zien hoe dat alle optelsom tot gigantische hoeveelheden grote gegevens die Sesame Credit kan gebruiken om te beoordelen hoe mensen zich gedragen en dienovereenkomstig waarderen.

Dus hoe worden mensen beoordeeld? Individuen op Sesame Credit worden gemeten met een score tussen 350 en 950 punten. Alibaba onthult niet het “complexe algoritme” dat het gebruikt om het getal te berekenen, maar ze onthullen wel de vijf factoren waarmee rekening wordt gehouden. De eerste is de kredietgeschiedenis. Betaalt de burger bijvoorbeeld tijdig zijn elektriciteits- of telefoonrekening? Vervolgens is er de uitvoeringscapaciteit, die in de richtsnoeren wordt gedefinieerd als “het vermogen van een gebruiker om zijn contractuele verplichtingen na te komen”. De derde factor is de persoonlijke kenmerken, het verifiëren van persoonlijke gegevens zoals iemands mobiele telefoonnummer en adres. Maar de vierde categorie, gedrag en voorkeur, is waar het interessant wordt.

Onder dit systeem wordt iets onschadelijks als de koopgewoonten van een persoon een maat voor het karakter. Alibaba geeft toe dat het mensen beoordeelt op de soorten producten die ze kopen. “Iemand die bijvoorbeeld tien uur per dag videospellen speelt, zou als werkloos worden beschouwd”, zegt Li Yingyun, directeur technologie van Sesame. “Iemand die vaak luiers koopt, wordt waarschijnlijk beschouwd als een ouder, die per saldo meer verantwoordelijkheidsbesef heeft”. Het systeem onderzoekt dus niet alleen gedrag, het vormt het ook. Het’ duwt’ burgers weg van aankopen en gedrag dat de overheid niet leuk vindt.

Vrienden zijn ook belangrijk. De vijfde categorie is interpersoonlijke relaties. Wat zegt hun keuze van online vrienden en hun interacties over de persoon die beoordeeld wordt? Het delen van wat Sesame Credit noemt als “positieve energie” online, mooie boodschappen over de overheid of hoe goed de economie van het land doet, zal uw score omhoog gaan.

Alibaba is standvastig dat momenteel niets negatiefs op social media geen invloed heeft op scores (we weten niet of dit waar is of niet omdat het algoritme geheim is). Maar je ziet wel hoe dit uitpakt als het eigen scoresysteem van de overheid in 2020 officieel van start gaat. Hoewel er nog geen suggestie is dat een van de acht particuliere bedrijven die betrokken zijn bij de lopende pilot in laatste instantie verantwoordelijk zal zijn voor het beheer van het eigen systeem van de overheid, is het moeilijk te geloven dat de overheid niet de maximale hoeveelheid gegevens voor haar SCS uit de piloten zal willen halen. Als dat gebeurt, en als de nieuwe norm blijft gelden onder de eigen SCS van de overheid, zal dit ertoe leiden dat particuliere platforms voornamelijk als spionagebureaus voor de overheid optreden. Zij mogen geen keuze hebben.

Het plaatsen van afwijkende politieke meningen of verbanden waarin Tiananmenplein wordt genoemd, is in China nooit verstandig geweest, maar nu zou het direct schadelijk kunnen zijn voor de waardering van een burger. Maar hier is het wel de echte kicker: de eigen score van een persoon wordt ook beïnvloed door wat zijn online vrienden zeggen en doen, buiten hun eigen contact met hen. Als iemand die ze verbonden zijn met online berichten een negatief commentaar krijgt, wordt ook zijn eigen score naar beneden gesleept.

Waarom hebben miljoenen mensen dus al een proefrit getekend voor een publiekelijk goedgekeurd overheidstoezichtssysteem? Er kunnen donkere, onuitgesproken redenen zijn – angst voor represailles, bijvoorbeeld voor degenen die hun hand niet opsteken – maar er is ook een lokken, in de vorm van beloningen en’ speciale voorrechten’ voor die burgers die bewijzen dat ze “betrouwbaar” zijn op Sesam Credit.

Als hun score bereikt 600, kunnen ze een Just Spend lening van maximaal 5.000 yuan (ongeveer £565) nemen om online te winkelen, zolang het maar op een Alibaba site. Bereik 650 punten, kunnen ze een auto huren zonder een borg te laten achterlaten. Ze hebben ook recht op een snellere check-in in hotels en het gebruik van de VIP check-in op Beijing Capital International Airport. Die met meer dan 666 punten kunnen een kaskrediet krijgen van maximaal 50.000 yuan (£ 5.700), uiteraard van Ant Financial Services. Krijg boven de 700 jaar en ze kunnen Singapore reizen zonder bewijsstukken zoals een personeelsbrief. En op 750, krijgen ze een versnelde aanvraag voor een begeerd pan-Europees Schengenvisum. “Ik denk dat de beste manier om het systeem te begrijpen is als een soort bastaard liefdeskind van een loyaliteitsschema,” zegt Creemers.

Hogere scores zijn al een statussymbool geworden, met bijna 100.000 mensen die over hun scores op Weibo (het Chinese equivalent van Twitter) opscheppen binnen enkele maanden na de lancering. Een burger score kan zelfs invloed hebben op hun kansen van het krijgen van een datum, of een huwelijk partner, omdat hoe hoger hun Sesame rating, hoe prominenter hun dating profiel is op Baihe.

Sesame Credit biedt al tips aan om mensen te helpen hun ranking te verbeteren, inclusief het waarschuwen voor de keerzijden van iemand met een lage score. Dit kan leiden tot de opkomst van scoreadviseurs, die tips zullen delen over hoe punten te winnen, of reputatieadviseurs die bereid zijn om deskundig advies te geven over hoe een ranking strategisch te verbeteren of van de vertrouwenswaardige zwarte lijst af te komen.

Sesame Credit is in feite een grootscheepse versie van de controlemethodes van de Communistische Partij; de verontrustende dang’ an. Het regime hield een dossier bij over elk individu dat politieke en persoonlijke overtredingen in kaart bracht. Een burger’s dang’ an volgde hen voor het leven, van school tot werk. Mensen begonnen te rapporteren over vrienden en zelfs familieleden, waardoor argwaan ontstond en het sociale vertrouwen in China werd verminderd. Hetzelfde zal gebeuren met digitale dossiers. Mensen zullen een prikkel hebben om tegen hun vrienden en familie te zeggen:”Plaats dat niet. Ik wil niet dat u uw score benadeelt, maar ik wil ook niet dat u de mijne pijn doet”.

We zien ongetwijfeld ook de geboorte van de reputatie van zwarte markten die onder de toonbank verkopen om de betrouwbaarheid te vergroten. Net zoals Facebook Likes en Twitter volgelingen kunnen worden gekocht, betalen individuen om hun score te manipuleren. Hoe zit het met het beveiligen van het systeem? Hackers (sommige zelfs door de staat gesteunde hackers kunnen de digitaal opgeslagen informatie wijzigen of stelen.

“Mensen met een lage classificatie zullen langzamer internetsnelheden hebben; beperkte toegang tot restaurants en de opheffing van het recht om te reizen”.

Rachel Botsman, auteur van’ Wie kan je vertrouwen’?
Het nieuwe systeem weerspiegelt een uitgekiende paradigmaverschuiving. Zoals we hebben opgemerkt, probeert de overheid in plaats van te proberen stabiliteit of conformiteit af te dwingen met een grote stok en een goede dosis top-down angst, gehoorzaamheid te laten voelen als gaming. Het is een methode van sociale controle gekleed in sommige punten-reward systeem. Het is gamified gehoorzaamheid.

In een trendy wijk in het centrum van Beijing, sloegen de BBC nieuwsdiensten in oktober 2015 de straat op om mensen te vragen naar hun Sesame Credit ratings. De meesten spraken over de upsides. Maar wie zou het systeem dan publiekelijk bekritiseren? Ding, kan uw score naar beneden gaan. Weinig mensen begrepen al schrikbarend dat een slechte score hen in de toekomst zou kunnen kwetsen. Nog meer zorgwekkend was het feit dat veel mensen geen idee hadden dat ze beoordeeld werden.

Sesame Credit straft mensen momenteel niet rechtstreeks omdat ze “onbetrouwbaar” zijn – het is effectiever om mensen op te sluiten met traktaties voor goed gedrag. Maar Hu Tao, de chef-manager van Sesame Credit, waarschuwt mensen dat het systeem zo is ontworpen dat “onbetrouwbare mensen geen auto kunnen huren, geen geld kunnen lenen of zelfs geen baan kunnen vinden”. Ze heeft zelfs onthuld dat Sesame Credit heeft benaderd het Bureau voor Onderwijs van China over het delen van een lijst van haar studenten die bedrogen op nationale examens, om hen te laten betalen in de toekomst voor hun oneerlijkheid.

Sancties zullen drastisch veranderen wanneer het overheidssysteem in 2020 verplicht wordt. Op 25 september 2016 heeft het secretariaat-generaal van de Raad van State zijn beleid “Waarschuwings- en sanctiemechanismen voor personen die onderworpen zijn aan handhaving met het oog op vertrouwensbreuk”geactualiseerd. Het overkoepelende principe is simpel:”Als het vertrouwen op één plaats wordt geschonden, worden er overal beperkingen opgelegd”, stelt het beleidsdocument.

Zo zullen mensen met een lage rating bijvoorbeeld lagere internetsnelheden hebben, een beperkte toegang tot restaurants, nachtclubs of golfbanen en het wegvallen van het recht om vrij naar het buitenland te reizen met, ik citeer,”restrictieve controle op de consumptie in vakantiegebieden of reisbedrijven”. Scores zullen iemands verhuuraanvragen, hun vermogen om een verzekering of een lening te krijgen en zelfs sociale zekerheidsuitkeringen beïnvloeden. Burgers met lage scores zullen niet door bepaalde werkgevers worden ingehuurd en het zal verboden zijn om een baan te vinden, onder meer in de ambtelijke, journalistieke en juridische sfeer, waar je natuurlijk als betrouwbaar moet worden beschouwd. Ook burgers met een lage waardering zullen worden beperkt als het gaat om het inschrijven van zichzelf of hun kinderen in particuliere scholen met een hoge beloning. Ik maak deze lijst van straffen niet. Het is de realiteit waar Chinese burgers mee te maken krijgen. Zoals het overheidsdocument stelt, zal het sociale creditsysteem “de vertrouwenspersonen in staat stellen om overal onder de hemel te zwerven terwijl het moeilijk wordt voor de in diskrediet gebrachte mensen om één stap te zetten”.

Volgens Luciano Floridi, hoogleraar filosofie en ethiek van informatie aan de Universiteit van Oxford en onderzoeksleider aan het Oxford Internet Instituut, zijn er drie kritische “ontcentrerende verschuivingen” geweest die ons standpunt in zelfbegrip hebben veranderd: Copernicus’s model van de Aarde om de Zon heen; Darwins theorie van natuurlijke selectie; en Freud’s bewering dat onze dagelijkse handelingen worden beheerst door de onbewuste geest.

Floridi gelooft dat we nu de vierde dienst ingaan, want wat we online en offline doen, versmelten tot een online-leven. Hij stelt dat, naarmate onze samenleving steeds meer een infosfeer wordt, een mengeling van fysieke en virtuele ervaringen, we een online-leven persoonlijkheid verwerven – anders dan wie we in de “echte wereld” alleen zijn. We zien deze tekst groot op Facebook, waar mensen een bewerkt of geïdealiseerd portret van hun leven presenteren. Denk aan uw Uber ervaringen. Bent u gewoon een beetje mooier aan de chauffeur omdat u weet dat u zal worden beoordeeld? Maar Uber ratings zijn niets vergeleken met Peeple, een app die in maart 2016 op de markt kwam, en dat is als een Yelp voor mensen. Hiermee kunt u beoordelingen en beoordelingen toekennen aan iedereen die u kent – uw echtgenoot, buurman, baas en zelfs uw ex. Een profiel toont een “Peeple Number”, een score gebaseerd op alle feedback en aanbevelingen die u ontvangt. Zorgwekkend, zodra je naam eenmaal in het Peeple-systeem zit, is het er voorgoed. U kunt zich niet afmelden.

Peeple heeft bepaald slecht gedrag verboden, waaronder het vermelden van persoonlijke gezondheidsomstandigheden, het maken van profaniteiten of seksistisch zijn (hoewel je dat objectief beoordeelt). Maar er zijn weinig regels over hoe mensen worden beoordeeld of normen over transparantie.

China’s vertrouwensstelsel kan nog vrijwillig zijn, maar het heeft al gevolgen. In februari 2017 kondigde het Hooggerechtshof aan dat 6,15 miljoen van zijn burgers de afgelopen vier jaar een vliegverbod hadden gekregen wegens sociale misstanden. Het verbod wordt genoemd als een stap in de richting van blacklisting in de SCS. “We hebben een memorandum ondertekend….[met meer dan] 44 regeringsdepartementen om’ in diskrediet gebrachte’ mensen op meerdere niveaus te beperken,” zegt Meng Xiang, hoofd van de uitvoerende afdeling van het Hooggerechtshof. Nog eens 1,65 miljoen mensen op de zwarte lijst kunnen geen treinen nemen.

Waar deze systemen werkelijk in nachtmerriegebied dalen is dat de gebruikte vertrouwensalgoritmen oneerlijk reductief zijn. Ze houden geen rekening met de context. Zo kan een persoon bijvoorbeeld een rekening of boete missen omdat hij in het ziekenhuis zat, een andere persoon kan gewoonweg een freeloader zijn. En dat is de uitdaging waar wij allen in de digitale wereld voor staan, en niet alleen de Chinezen. Als er levensbepalende algoritmen aanwezig moeten blijven, moeten we uitzoeken hoe ze de nuances, inconsistenties en tegenstrijdigheden die inherent zijn aan mensen kunnen omarmen en hoe ze het echte leven kunnen weerspiegelen.

Kevin Hong
Je kon het zogenaamde vertrouwensplan van China zien als Orwell’s 1984 ontmoet de honden van Pavlov. Handel als een goede burger, word beloond en word beloond om te denken dat je plezier hebt. Het is echter de moeite waard om te onthouden dat er in het westen al tientallen jaren persoonlijke scoringsystemen aanwezig zijn.

Meer dan 70 jaar geleden vonden twee mannen, Bill Fair en Earl Isaac, een kredietscore uit. Vandaag de dag gebruiken bedrijven FICO-scores om veel financiële beslissingen te bepalen, waaronder de rente op onze hypotheek of of we een lening moeten krijgen.

Voor de meerderheid van de Chinezen hebben ze nooit een creditscore gehad en kunnen ze dus geen krediet krijgen. “Veel mensen hebben geen huizen, auto’s of creditcards in China, zodat dat soort informatie niet beschikbaar is om te meten,” legt Wen Quan uit, een invloedrijke blogger die schrijft over technologie en financiën. “De centrale bank beschikt over de financiële gegevens van 800 miljoen mensen, maar slechts 320 miljoen mensen hebben een traditioneel kredietverleden. Volgens het Chinese ministerie van Handel bedraagt de jaarlijkse economische schade veroorzaakt door gebrek aan kredietinformatie meer dan 600 miljard yuan (68 miljard pond).

China’s gebrek aan een nationaal kredietsysteem is de reden waarom de regering standvastig is dat Citizen Scores zijn lang te laat en hard nodig om vast te stellen wat ze noemen wat ze een “vertrouwenstekort”noemen. Op een slecht gereguleerde markt is de verkoop van namaakproducten en producten die niet aan de normen voldoen een groot probleem. Volgens de Organisatie voor Economische Samenwerking en Ontwikkeling (OESO) is 63 procent van alle namaakgoederen, van horloges tot handtassen en babyvoeding, afkomstig uit China. “Het niveau van microcorruptie is enorm”, zegt Creemers. “Dus als deze specifieke regeling leidt tot een doeltreffender toezicht en verantwoording, zal zij waarschijnlijk zeer welkom zijn”.

De regering betoogt ook dat het systeem een manier is om mensen die buiten de traditionele kredietsystemen vallen, zoals studenten en huishoudens met een laag inkomen, in te schakelen. Professor Wang Shuqin van het Office of Philosophy and Social Science aan de Capital Normal University in China won onlangs het bod om de overheid te helpen het systeem te ontwikkelen dat ze noemt als “China’s Social Faithful System”. Zonder een dergelijk mechanisme is het riskant om zaken te doen in China, zo benadrukt zij, aangezien ongeveer de helft van de ondertekende contracten niet wordt aangehouden. “Gezien de snelheid van de digitale economie is het cruciaal dat mensen elkaars kredietwaardigheid snel kunnen verifiëren”, zegt ze. “Het gedrag van de meerderheid wordt bepaald door hun denkwereld. Een persoon die gelooft in socialistische kernwaarden gedraagt zich fatsoenlijker. Zij beschouwt de “morele maatstaven” die het systeem naast financiële gegevens ook beoordeelt als een bonus.

Het doel van de Raad van State is immers om de “eerlijke mentaliteit en kredietwaardigheid van de hele samenleving” te verhogen om “het algemene concurrentievermogen van het land”te verbeteren. Is het mogelijk dat de SCS in feite een meer doorzichtige benadering is van het toezicht in een land dat al lang een lange geschiedenis heeft van het observeren van zijn burgers? “Als Chinees persoon, wetende dat alles wat ik online doe wordt gevolgd, zou ik dan liever op de hoogte zijn van de details van wat er wordt gecontroleerd en deze informatie gebruiken om mezelf te leren hoe ik me aan de regels moet houden”? Rasul Majid, een Chinese blogger in Shanghai, die schrijft over gedragsdesign en spelpsychologie. “Of zou ik liever in onwetendheid leven en hoop/wensen/droom dat persoonlijke privacy nog steeds bestaat en dat onze heersende organen ons voldoende respecteren om niet te misbruiken? Simpel gezegd, Majid denkt dat het systeem hem een beetje meer controle geeft over zijn gegevens.

Kevin Hong
Als ik westerlingen vertel over het sociale-kredietpuntensysteem in China, zijn hun reacties vurig en visceraal. Toch waarderen we al restaurants, films, boeken en zelfs artsen. Facebook, ondertussen, is nu in staat om u te identificeren in foto’s zonder uw gezicht te zien; het heeft alleen uw kleren, haar en lichaamstype nodig om u in een beeld met 83 percentennauwkeurigheid te identificeren.

In 2015 publiceerde de OESO een studie waaruit bleek dat er in de VS minstens 24,9 apparaten per 100 inwoners aangesloten zijn. Allerlei soorten bedrijven onderzoeken de “big data” die van deze apparaten worden uitgezonden om ons leven en onze verlangens te begrijpen, en om onze acties te voorspellen op manieren die we niet eens zelf konden voorspellen.

Overheden over de hele wereld zijn al bezig met monitoring en beoordeling. In de VS is het National Security Agency (NSA) niet het enige officiële digitale oog dat de bewegingen van zijn burgers volgt. In 2015 heeft de Amerikaanse Transportation Security Administration het idee geopperd om de PreCheck-achtergrondcontroles uit te breiden tot sociale media, locatiegegevens en aankoopgeschiedenis. Het idee werd na hevige kritiek geschrapt, maar dat wil niet zeggen dat het dood is. We leven al in een wereld van voorspellende algoritmen die bepalen of we een bedreiging, een risico, een goede burger en zelfs betrouwbaar zijn. We komen dichter bij het Chinese systeem – de uitbreiding van de creditscore in levenscores – zelfs als we niet weten dat we dat zijn.

Gaan we op weg naar een toekomst waarin we allemaal online worden gebrandmerkt en data worden geminimaliseerd? Dat is zeker een trend. Als we een soort massaburgerreactie tegenhouden om de privacy te ondermijnen, betreden we een leeftijd waarop iemands handelingen worden beoordeeld op basis van normen die ze niet kunnen beheersen en waar dat oordeel niet kan worden uitgewist. De gevolgen zijn niet alleen zorgwekkend, maar ook blijvend. Vergeet het recht om te verwijderen of te vergeten, om jong en dwaas te zijn.

Hoewel het misschien te laat is om dit nieuwe tijdperk te stoppen, hebben we keuzes en rechten die we nu kunnen uitoefenen. Enerzijds moeten we de raters kunnen beoordelen. In zijn boek The Inevitable beschrijft Kevin Kelly een toekomst waarin de toeschouwers en de horlogegangers elkaar transparant volgen. “Onze centrale keuze is nu of dit toezicht een geheim, eenzijdig panoptiek is – of een wederzijdse, transparante vorm van’ coveillance’ waarbij de kijkers worden bewaakt,” schrijft hij.

Ons vertrouwen moet beginnen bij individuen binnen de overheid (of wie het systeem controleert). We hebben betrouwbare mechanismen nodig om ervoor te zorgen dat ratings en gegevens op verantwoorde wijze en met onze toestemming worden gebruikt. Om het systeem te vertrouwen, moeten we de onbekenden verminderen. Dat betekent stappen ondernemen om de opaciteit van de algoritmen te verminderen. Het argument tegen verplichte openbaarmaking is dat als je weet wat er onder de kap gebeurt, het systeem geforceerd of gehackt kan worden. Maar als mensen worden gereduceerd tot een waardering die hun leven aanzienlijk kan beïnvloeden, moet er transparantie zijn in hoe de waardering werkt.

In China zullen bepaalde burgers, zoals overheidsambtenaren, waarschijnlijk boven het systeem worden beschouwd. Wat zal de reactie van het publiek zijn als hun ongunstige acties hun score niet beïnvloeden? We konden een Panama Papers 3.0 zien voor reputatiefraude.

Het is nog te vroeg om te weten hoe een cultuur van constante monitoring plus beoordeling zal uitpakken. Wat gebeurt er als deze systemen, die de sociale, morele en financiële geschiedenis van een hele bevolking in kaart brengen, volledig van kracht worden? Hoe veel verder zullen privacy en vrijheid van meningsuiting (lang belegerd in China) worden uitgehold? Wie zal beslissen op welke manier het systeem werkt? Dit zijn vragen waar we ons allemaal over moeten buigen, en wel binnenkort. Vandaag China, morgen een plek in de buurt van u. De echte vragen over de toekomst van het vertrouwen zijn niet technologisch of economisch, maar ethisch.

Als we niet waakzaam zijn, kan gedistribueerd vertrouwen een netwerk van schande worden. Het leven wordt een eindeloze populariteitswedstrijd, waarbij wij allemaal voor de hoogste waardering strijden die slechts enkelen kunnen halen.

Dit is een uittreksel van Wie kunt u vertrouwen? Sinds dit stuk is geschreven, heeft The People’s Bank of China de vergunningen uitgesteld tot de acht bedrijven die sociale kredietpiloten uitvoeren. De plannen van de regering om in 2020 het sociale studiepuntensysteem te lanceren blijven ongewijzigd