편향 감지법

2015년 10월

많은 사람들에게는 놀라운 일이겠지만, 어떤 경우에는 지원자 풀에 대해 아무것도 모른 채로 선발 과정의 편향을 감지하는 것이 가능합니다. 이는 특히 선발을 진행하는 측의 의지와 상관없이 제3자가 이 기법을 사용하여 편향을 감지할 수 있다는 점에서 흥미롭습니다.

이 기법은 다음의 경우에 사용할 수 있습니다: (a) 선발된 지원자들의 무작위 표본을 최소한 확보했을 때, (b) 그들의 후속 성과가 측정될 때, 그리고 (c) 비교하려는 지원자 그룹들이 대략적으로 동등한 능력 분포를 가질 때.

어떻게 작동할까요? 편향된다는 것이 무엇을 의미하는지 생각해 보세요. 선발 과정이 X 유형의 지원자들에게 편향되어 있다는 것은 그들이 통과하기 더 어렵다는 것을 의미합니다. 이는 X 유형의 지원자들이 X 유형이 아닌 지원자들보다 선발되기 위해 더 뛰어나야 한다는 뜻입니다. [1] 즉, 선발 과정을 통과한 X 유형의 지원자들은 다른 성공적인 지원자들보다 더 나은 성과를 보일 것입니다. 그리고 모든 성공적인 지원자들의 성과가 측정된다면, 그들이 실제로 그러한지 알 수 있습니다.

물론, 성과를 측정하는 데 사용하는 테스트는 유효해야 합니다. 특히, 측정하려는 편향에 의해 무효화되어서는 안 됩니다. 하지만 성과를 측정할 수 있는 영역들이 있으며, 그러한 영역에서는 편향 감지가 간단합니다. 특정 유형의 지원자에게 선발 과정이 편향되었는지 알고 싶으신가요? 그들이 다른 지원자들보다 더 나은 성과를 내는지 확인해 보세요. 이것은 단지 편향 감지를 위한 휴리스틱이 아닙니다. 이것이 바로 편향의 의미입니다.

예를 들어, 많은 사람들은 벤처 캐피탈(VC) 회사들이 여성 창업자들에게 편향되어 있다고 의심합니다. 이는 쉽게 감지할 수 있습니다: 그들의 포트폴리오 회사들 중에서 여성 창업자가 있는 스타트업이 그렇지 않은 스타트업보다 더 나은 성과를 내는가? 몇 달 전, 한 VC 회사(거의 확실히 의도치 않게)는 이러한 유형의 편향을 보여주는 연구를 발표했습니다. First Round Capital은 자사의 포트폴리오 회사들 중에서 여성 창업자가 있는 스타트업이 그렇지 않은 스타트업보다 63% 더 뛰어난 성과를 보였다고 밝혔습니다. [2]

이 기법이 많은 사람들에게 놀라움을 줄 것이라고 말하며 시작한 이유는 우리가 이러한 유형의 분석을 거의 보지 못하기 때문입니다. First Round 역시 자신들이 이러한 분석을 수행했다는 사실에 놀랄 것이라고 확신합니다. 그곳의 누구도 자신들의 샘플을 자체 포트폴리오로 제한함으로써, 스타트업 트렌드에 대한 연구가 아니라 회사 선발 시 자신들의 편향에 대한 연구를 하고 있다는 사실을 깨닫지 못했을 것입니다.

저는 앞으로 이 기법이 더 많이 사용될 것이라고 예측합니다. 이러한 연구를 수행하는 데 필요한 정보는 점점 더 많이 이용 가능해지고 있습니다. 어떤 것에 지원하는 사람들에 대한 데이터는 일반적으로 선발하는 기관에 의해 엄격하게 보호되지만, 요즘에는 선발된 사람들에 대한 데이터가 이를 취합하려는 사람이라면 누구에게나 공개적으로 이용 가능한 경우가 많습니다.

주석

[1] 이 기법은 선발 과정이 다른 유형의 지원자들에게서 다른 것을 찾는 경우에는 작동하지 않을 것입니다. 예를 들어, 고용주가 남성은 능력에 따라 고용하고 여성은 외모에 따라 고용하는 경우와 같습니다.

[2] Paul Buchheit이 지적했듯이, First Round는 가장 성공적인 투자 사례인 Uber를 연구에서 제외했습니다. 일부 유형의 연구에서 이상치(outliers)를 제외하는 것이 합리적일 수 있지만, 스타트업 투자 수익률 연구는 이상치를 찾아내는 것이 핵심이므로 그러한 경우가 아닙니다.

감사의 말씀 Sam Altman, Jessica Livingston, Geoff Ralston에게 초고를 읽어준 것에 대해 감사합니다.