Sposób na wykrycie stronniczości

Październik 2015

To dla wielu osób będzie zaskoczeniem, ale w niektórych przypadkach możliwe jest wykrycie stronniczości w procesie selekcji bez wiedzy o puli kandydatów. Co jest ekscytujące, ponieważ między innymi oznacza to, że strony trzecie mogą wykorzystywać tę technikę do wykrywania stronniczości, niezależnie od tego, czy osoby dokonujące selekcji tego chcą, czy nie.

Tę technikę można zastosować zawsze, gdy (a) dysponujesz co najmniej losową próbką wybranych kandydatów, (b) ich późniejsze wyniki są mierzone, i (c) grupy kandydatów, które porównujesz, mają w przybliżeniu równe rozkłady zdolności.

Jak to działa? Pomyśl o tym, co oznacza bycie stronniczym. To, że proces selekcji jest stronniczy wobec kandydatów typu x, oznacza, że trudniej im przejść. Co oznacza, że kandydaci typu x muszą być lepsi, aby zostać wybrani, niż kandydaci niebędący typu x. [1] Co oznacza, że kandydaci typu x, którzy przejdą przez proces selekcji, osiągną lepsze wyniki niż inni wybrani kandydaci. A jeśli wyniki wszystkich wybranych kandydatów są mierzone, będziesz wiedzieć, czy tak jest.

Oczywiście test używany do pomiaru wyników musi być wiarygodny. I w szczególności nie może być unieważniony przez stronniczość, którą próbujesz zmierzyć. Ale istnieją pewne dziedziny, w których można mierzyć wyniki, a w nich wykrywanie stronniczości jest proste. Chcesz wiedzieć, czy proces selekcji był stronniczy wobec jakiegoś typu kandydata? Sprawdź, czy osiągają lepsze wyniki niż inni. To nie jest tylko heurystyka do wykrywania stronniczości. To właśnie oznacza stronniczość.

Na przykład wielu podejrzewa, że firmy venture capital są stronnicze wobec założycielek. Byłoby to łatwe do wykrycia: czy wśród ich firm portfelowych startupy z założycielkami osiągają lepsze wyniki niż te bez nich? Kilka miesięcy temu jedna firma VC (niemal na pewno nieumyślnie) opublikowała badanie pokazujące tego typu stronniczość. First Round Capital odkrył, że wśród jego firm portfelowych startupy z założycielkami osiągnęły o 63% lepsze wyniki niż te bez nich. [2]

Powodem, dla którego zacząłem od stwierdzenia, że ta technika będzie dla wielu zaskoczeniem, jest to, że tak rzadko widzimy analizy tego typu. Jestem pewien, że dla First Round będzie zaskoczeniem, że przeprowadzili jedną z nich. Wątpię, czy ktokolwiek tam zdał sobie sprawę, że ograniczając swoją próbę do własnego portfela, stworzyli badanie nie trendów startupowych, ale własnych stronniczości przy wyborze firm.

Przewiduję, że będziemy częściej stosować tę technikę w przyszłości. Informacje potrzebne do przeprowadzenia takich badań są coraz łatwiej dostępne. Dane o tym, kto się o coś ubiega, są zazwyczaj ściśle strzeżone przez organizacje dokonujące selekcji, ale obecnie dane o tym, kto został wybrany, są często publicznie dostępne dla każdego, kto zada sobie trud ich agregacji.

Noty

[1] Ta technika nie działałaby, gdyby proces selekcji szukał różnych rzeczy u różnych typów kandydatów – na przykład, gdyby pracodawca zatrudniał mężczyzn na podstawie ich zdolności, a kobiety na podstawie ich wyglądu.

[2] Jak zauważa Paul Buchheit, First Round wykluczył z badania swoją najbardziej udaną inwestycję, Ubera. I chociaż ma sens wykluczanie wartości odstających z niektórych typów badań, badania zwrotów z inwestycji w startupy, które polegają na trafianiu w wartości odstające, nie są jednym z nich.

Dziękuję Samowi Altmanowi, Jessice Livingston i Geoffowi Ralstonowi za przeczytanie wstępnych wersji tego tekstu.