Een Manier om Bias te Detecteren

Oktober 2015

Dit zal velen verrassen, maar in sommige gevallen is het mogelijk om bias in een selectieproces te detecteren zonder iets te weten over de sollicitantenpool. Wat opwindend is, omdat het onder andere betekent dat derde partijen deze techniek kunnen gebruiken om bias te detecteren, ongeacht of de selecteurs dat willen of niet.

Je kunt deze techniek gebruiken wanneer (a) je ten minste een willekeurige steekproef hebt van de geselecteerde sollicitanten, (b) hun daaropvolgende prestaties worden gemeten, en (c) de groepen sollicitanten die je vergelijkt een ongeveer gelijke verdeling van vaardigheden hebben.

Hoe werkt het? Denk na over wat het betekent om bevooroordeeld te zijn. Wat het betekent voor een selectieproces om bevooroordeeld te zijn tegen sollicitanten van type x, is dat het voor hen moeilijker is om erdoorheen te komen. Wat betekent dat sollicitanten van type x beter moeten zijn om geselecteerd te worden dan sollicitanten van niet-type x. [1] Wat betekent dat sollicitanten van type x die wel door het selectieproces komen, beter zullen presteren dan andere succesvolle sollicitanten. En als de prestaties van alle succesvolle sollicitanten worden gemeten, weet je of ze dat doen.

Natuurlijk moet de test die je gebruikt om prestaties te meten geldig zijn. En in het bijzonder mag deze niet ongeldig worden gemaakt door de bias die je probeert te meten. Maar er zijn enkele domeinen waar prestaties kunnen worden gemeten, en daarin is het detecteren van bias eenvoudig. Wil je weten of het selectieproces bevooroordeeld was tegen een bepaald type sollicitant? Controleer of ze beter presteren dan de anderen. Dit is niet zomaar een heuristiek voor het detecteren van bias. Het is wat bias betekent.

Veel mensen vermoeden bijvoorbeeld dat durfkapitaalfirma's bevooroordeeld zijn tegen vrouwelijke oprichters. Dit zou gemakkelijk te detecteren zijn: presteren startups met vrouwelijke oprichters binnen hun portefeuillebedrijven beter dan die zonder? Een paar maanden geleden publiceerde een VC-firma (vrijwel zeker onbedoeld) een studie die dit soort bias aantoont. First Round Capital ontdekte dat startups met vrouwelijke oprichters binnen hun portefeuillebedrijven met 63% beter presteerden dan die zonder. [2]

De reden dat ik begon met te zeggen dat deze techniek velen zou verrassen, is dat we zelden analyses van dit type zien. Ik weet zeker dat het voor First Round verrassend zal zijn dat ze er een hebben uitgevoerd. Ik betwijfel of iemand daar besefte dat ze, door hun steekproef te beperken tot hun eigen portefeuille, een studie uitvoerden niet van startuptrends, maar van hun eigen vooroordelen bij het selecteren van bedrijven.

Ik voorspel dat we deze techniek in de toekomst vaker zullen zien. De informatie die nodig is om dergelijke studies uit te voeren, is steeds vaker beschikbaar. Gegevens over wie ergens voor solliciteert, worden meestal nauwlettend bewaakt door de organisaties die hen selecteren, maar tegenwoordig zijn gegevens over wie wordt geselecteerd vaak openbaar beschikbaar voor iedereen die de moeite neemt om ze te verzamelen.

Noten

[1] Deze techniek zou niet werken als het selectieproces naar verschillende dingen keek bij verschillende soorten sollicitanten—bijvoorbeeld als een werkgever mannen selecteerde op basis van hun vaardigheid, maar vrouwen op basis van hun uiterlijk.

[2] Zoals Paul Buchheit aangeeft, heeft First Round hun meest succesvolle investering, Uber, uitgesloten van de studie. En hoewel het logisch is om uitschieters uit te sluiten bij sommige soorten studies, zijn studies naar rendement op startupinvesteringen, waarbij het draait om het raken van uitschieters, daar geen van.

Dank aan Sam Altman, Jessica Livingston en Geoff Ralston voor het lezen van concepten hiervan.