Wat ik heb geleerd van Hacker News

Februari 2009

Hacker News bestond vorige week twee jaar. Aanvankelijk was het de bedoeling een nevenproject te zijn—een applicatie om Arc op te scherpen, en een plek voor huidige en toekomstige Y Combinator-oprichters om nieuws uit te wisselen. Het is groter geworden en heeft meer tijd in beslag genomen dan ik had verwacht, maar ik heb er geen spijt van, want ik heb er veel van geleerd.

Groei

Toen we in februari 2007 lanceerden, was het weekverkeer rond de 1600 dagelijkse unieke bezoekers. Sindsdien is het gegroeid tot ongeveer 22.000. Dit groeipercentage is iets hoger dan ik zou willen. Ik wil dat de site groeit, want een site die niet langzaam groeit, is waarschijnlijk dood. Maar ik zou niet willen dat het zo groot wordt als Digg of Reddit—voornamelijk omdat dat het karakter van de site zou verdunnen, maar ook omdat ik niet al mijn tijd wil besteden aan schaalbaarheid.

Ik heb daar al genoeg problemen mee. Vergeet niet, de oorspronkelijke motivatie voor HN was om een nieuwe programmeertaal te testen, en bovendien een die gericht is op het experimenteren met taalontwerp, niet op prestaties. Elke keer dat de site traag wordt, versterk ik mezelf door de beroemde quote van McIlroy en Bentley te herinneren

De sleutel tot prestaties is elegantie, geen bataljons van speciale gevallen.

en zoek ik naar de bottleneck die ik met de minste code kan verwijderen. Tot nu toe heb ik het kunnen bijhouden, in de zin dat de prestaties consistent middelmatig zijn gebleven ondanks 14x groei. Ik weet niet wat ik hierna zal doen, maar ik zal waarschijnlijk wel iets bedenken.

Dit is mijn houding ten opzichte van de site in het algemeen. Hacker News is een experiment, en een experiment in een zeer jong veld. Sites van dit type bestaan pas een paar jaar. Internetconversatie in het algemeen bestaat pas een paar decennia. Dus we hebben waarschijnlijk slechts een fractie ontdekt van wat we uiteindelijk zullen ontdekken.

Daarom ben ik zo optimistisch over HN. Wanneer een technologie zo jong is, zijn de bestaande oplossingen meestal verschrikkelijk; wat betekent dat het mogelijk moet zijn om veel beter te doen; wat betekent dat veel problemen die onoplosbaar lijken, dat niet zijn. Inclusief, hoop ik, het probleem dat zoveel eerdere gemeenschappen heeft getroffen: verwoest worden door groei.

Verwatering

Gebruikers maken zich daar zorgen over sinds de site een paar maanden oud was. Tot nu toe zijn deze alarmen vals geweest, maar dat zal niet altijd zo zijn. Verwatering is een moeilijk probleem. Maar waarschijnlijk oplosbaar; het betekent niet veel dat open gesprekken "altijd" zijn vernietigd door groei wanneer "altijd" gelijk is aan 20 instanties.

Maar het is belangrijk om te onthouden dat we een nieuw probleem proberen op te lossen, want dat betekent dat we nieuwe dingen moeten proberen, waarvan de meeste waarschijnlijk niet zullen werken. Een paar weken geleden probeerde ik de namen weer te geven van gebruikers met de hoogste gemiddelde commentaarscores in oranje. [1] Dat was een vergissing. Plotseling was een cultuur die min of meer verenigd was, verdeeld in hebben en niet-hebben. Ik realiseerde me niet hoe verenigd de cultuur was geweest totdat ik zag dat deze verdeeld was. Het was pijnlijk om te zien. [2]

Dus oranje gebruikersnamen komen niet terug. (Sorry daarvoor.) Maar er zullen in de toekomst andere, even gebroken lijkende ideeën zijn, en de ideeën die werken, zullen waarschijnlijk net zo gebroken lijken als degene die dat niet doen.

Waarschijnlijk is het belangrijkste dat ik over verwatering heb geleerd, dat het meer wordt gemeten in gedrag dan in gebruikers. Het is slecht gedrag dat je er liever buiten wilt houden dan slechte mensen. Gebruikersgedrag blijkt verrassend kneedbaar te zijn. Als mensen verwacht worden om zich goed te gedragen, doen ze dat meestal; en vice versa.

Hoewel het verbieden van slecht gedrag inderdaad slechte mensen wegjaagt, omdat ze zich ongemakkelijk beperkt voelen op een plek waar ze zich goed moeten gedragen. Maar deze manier om ze buiten te houden is milder en waarschijnlijk ook effectiever dan openlijke barrières.

Het is nu vrij duidelijk dat de 'broken windows'-theorie ook van toepassing is op communitysites. De theorie is dat kleine vormen van slecht gedrag erger gedrag aanmoedigen: dat een buurt met veel graffiti en kapotte ramen er een wordt waar overvallen plaatsvinden. Ik woonde in New York toen Giuliani de hervormingen doorvoerde die de 'broken windows'-theorie beroemd maakten, en de transformatie was wonderbaarlijk. En ik was een Reddit-gebruiker toen het tegenovergestelde daar gebeurde, en de transformatie was even dramatisch.

Ik bekritiseer Steve en Alexis niet. Wat er met Reddit gebeurde, gebeurde niet uit verwaarlozing. Vanaf het begin hadden ze het beleid om niets te censureren, behalve spam. Bovendien had Reddit andere doelen dan Hacker News. Reddit was een startup, geen nevenproject; het doel was om zo snel mogelijk te groeien. Combineer snelle groei en nul censuur, en het resultaat is een free-for-all. Maar ik denk niet dat ze veel anders zouden doen als ze het opnieuw zouden doen. Gemeten naar verkeer is Reddit veel succesvoller dan Hacker News.

Maar wat er met Reddit gebeurde, zal niet onvermijdelijk met HN gebeuren. Er zijn verschillende lokale maxima. Er kunnen plaatsen zijn die free-for-alls zijn en plaatsen die doordachter zijn, net zoals er in de echte wereld zijn; en mensen zullen zich anders gedragen, afhankelijk van waar ze zich bevinden, net zoals ze dat in de echte wereld doen.

Ik heb dit in het wild waargenomen. Ik heb mensen gezien die op Reddit en Hacker News cross-postten en die daadwerkelijk de moeite namen om twee versies te schrijven, een vlammende voor Reddit en een meer ingetogen versie voor HN.

Inzendingen

Er zijn twee belangrijke soorten problemen die een site als Hacker News moet vermijden: slechte verhalen en slechte opmerkingen. Tot nu toe lijkt het gevaar van slechte verhalen kleiner. De verhalen op de voorpagina zijn nog steeds ongeveer dezelfde als toen HN begon.

Ik dacht ooit dat ik stemmen moest wegen om crap van de voorpagina te houden, maar dat heb ik nog niet hoeven doen. Ik had niet voorspeld dat de voorpagina zo goed zou blijven, en ik weet niet zeker waarom. Misschien geven alleen de meer doordachte gebruikers zich genoeg om links in te dienen en te upvoten, dus de marginale kosten van één willekeurige nieuwe gebruiker naderen nul. Of misschien beschermt de voorpagina zichzelf, door aan te geven welk type inzending wordt verwacht.

Het gevaarlijkste voor de voorpagina is spul dat te gemakkelijk te upvoten is. Als iemand een nieuwe stelling bewijst, kost het de lezer wat moeite om te beslissen of hij deze wel of niet wil upvoten. Een grappige cartoon kost minder. Een tirade met een oproep tot actie als titel kost nul, omdat mensen het omhoog stemmen zonder het zelfs maar te lezen.

Daarom wat ik het 'Fluff Principle' noem: op een door gebruikers gestemde nieuwswebsite zullen de links die het gemakkelijkst te beoordelen zijn, de overhand krijgen, tenzij je specifieke maatregelen neemt om dit te voorkomen.

Hacker News heeft twee soorten bescherming tegen fluff. De meest voorkomende soorten fluff-links worden verbannen als off-topic. Foto's van kittens, politieke tirades, enzovoort zijn expliciet verboden. Dit houdt de meeste fluff buiten, maar niet alles. Sommige links zijn zowel fluff, in de zin dat ze erg kort zijn, als on-topic.

Daar is geen enkele oplossing voor. Als een link slechts een lege tirade is, zullen redacteuren deze soms verwijderen, zelfs als deze on-topic is in de zin van over hacking gaan, omdat deze niet on-topic is volgens de echte standaard, namelijk het prikkelen van de intellectuele nieuwsgierigheid. Als de berichten op een site kenmerkend van dit type zijn, verbied ik deze soms, wat betekent dat nieuwe inhoud op die URL automatisch wordt gedood. Als een bericht een linkbait-titel heeft, herschrijven redacteuren deze soms om deze feitelijker te maken. Dit is vooral nodig bij links waarvan de titels oproepen tot actie zijn, omdat ze anders impliciete "stem omhoog als je in het volgende gelooft"-berichten worden, wat de meest extreme vorm van fluff is.

De technieken voor het omgaan met links moeten evolueren, omdat de links dat ook doen. Het bestaan van aggregators heeft al invloed op wat ze aggregeren. Schrijvers schrijven nu bewust dingen om verkeer van aggregators te trekken—soms zelfs specifieke. (Nee, de ironie van deze uitspraak ontgaat me niet.) Dan zijn er de sinistere mutaties, zoals linkjacking—het plaatsen van een parafrase van iemands artikel en dat in plaats van het origineel indienen. Deze kunnen veel upvotes krijgen, omdat veel van wat goed is in een artikel blijft bestaan; sterker nog, hoe dichter de parafrase bij plagiaat komt, hoe meer er blijft bestaan. [3]

Ik vind het belangrijk dat een site die inzendingen verwijdert, gebruikers de mogelijkheid biedt om te zien wat er is verwijderd als ze dat willen. Dat houdt redacteuren eerlijk, en net zo belangrijk, geeft gebruikers het vertrouwen dat ze het zouden weten als de redacteuren niet meer eerlijk waren. HN-gebruikers kunnen dit doen door een schakelaar genaamd showdead in hun profiel om te zetten. [4]

Opmerkingen

Slechte opmerkingen lijken een moeilijker probleem dan slechte inzendingen. Hoewel de kwaliteit van de links op de voorpagina van HN niet veel is veranderd, kan de kwaliteit van de mediaan-opmerking enigszins zijn afgenomen.

Er zijn twee hoofdtypes van slechtheid in opmerkingen: gemeenheid en domheid. Er is veel overlap tussen de twee—gemene opmerkingen zijn onevenredig waarschijnlijk ook dom—maar de strategieën om ermee om te gaan zijn verschillend. Gemeenheid is gemakkelijker te beheersen. Je kunt regels hebben die zeggen dat men niet gemeen mag zijn, en als je ze handhaaft, lijkt het mogelijk om gemeenheid onder controle te houden.

Domheid onder controle houden is moeilijker, misschien omdat domheid niet zo gemakkelijk te onderscheiden is. Gemene mensen weten waarschijnlijk eerder dat ze gemeen zijn dan domme mensen weten dat ze dom zijn.

De gevaarlijkste vorm van domme opmerking is niet het lange maar onjuiste argument, maar de domme grap. Lange maar onjuiste argumenten zijn eigenlijk vrij zeldzaam. Er is een sterke correlatie tussen de kwaliteit van opmerkingen en de lengte; als je de kwaliteit van opmerkingen op communitysites zou willen vergelijken, zou de gemiddelde lengte een goede voorspeller zijn. Waarschijnlijk is de oorzaak menselijke natuur in plaats van iets specifieks voor commentaarthema's. Waarschijnlijk is het simpelweg dat domheid vaker de vorm aanneemt van weinig ideeën dan van foute ideeën.

Wat de oorzaak ook is, domme opmerkingen zijn meestal kort. En aangezien het moeilijk is om een ​​korte opmerking te schrijven die onderscheidend is door de hoeveelheid informatie die het overbrengt, proberen mensen ze in plaats daarvan te onderscheiden door grappig te zijn. Het meest verleidelijke formaat voor domme opmerkingen is de zogenaamd geestige afwijzing, waarschijnlijk omdat afwijzingen de gemakkelijkste vorm van humor zijn. [5] Dus een voordeel van het verbieden van gemeenheid is dat het ook deze vermindert.

Slechte opmerkingen zijn als kudzu: ze nemen snel de overhand. Opmerkingen hebben veel meer invloed op nieuwe opmerkingen dan inzendingen op nieuwe inzendingen. Als iemand een slecht artikel indient, worden de andere inzendingen niet allemaal slecht. Maar als iemand een domme opmerking plaatst in een thread, zet dat de toon voor de omgeving. Mensen reageren op domme grappen met domme grappen.

Misschien is de oplossing om een ​​vertraging toe te voegen voordat mensen op een opmerking kunnen reageren, en de lengte van de vertraging omgekeerd evenredig te maken aan een voorspelling van de kwaliteit ervan. Dan zouden domme threads langzamer groeien. [6]

Mensen

Ik merk dat de meeste technieken die ik heb beschreven conservatief zijn: ze zijn gericht op het behoud van het karakter van de site in plaats van het verbeteren ervan. Ik denk niet dat dat een vooroordeel van mij is. Het is te wijten aan de vorm van het probleem. Hacker News had het geluk om goed te beginnen, dus in dit geval is het letterlijk een kwestie van behoud. Maar ik denk dat dit principe ook van toepassing zou zijn op sites met andere oorsprongen.

De goede dingen in een communitysite komen meer van mensen dan van technologie; het is voornamelijk bij het voorkomen van slechte dingen dat technologie een rol speelt. Technologie kan zeker discussie verbeteren. Geneste opmerkingen doen dat bijvoorbeeld. Maar ik zou liever een site gebruiken met primitieve functies en slimme, aardige gebruikers dan een geavanceerdere waarvan de gebruikers idioten of trollen waren.

Dus het belangrijkste wat een communitysite kan doen, is het aantrekken van het soort mensen dat het wil. Een site die zo groot mogelijk wil zijn, wil iedereen aantrekken. Maar een site die zich richt op een specifieke subset van gebruikers, moet alleen die aantrekken—en net zo belangrijk, iedereen anders afstoten. Ik heb me daar bewust op gericht bij HN. Het grafische ontwerp is zo eenvoudig mogelijk, en de site-regels ontmoedigen dramatische linktitels. Het doel is dat het enige dat iemand die voor het eerst op HN komt, interesseert, de ideeën zijn die daar worden uitgedrukt.

Het nadeel van het afstemmen van een site om bepaalde mensen aan te trekken, is dat het voor die mensen te aantrekkelijk kan zijn. Ik ben me er terdege van bewust hoe verslavend Hacker News kan zijn. Voor mij, net als voor veel gebruikers, is het een soort virtueel dorpsplein. Als ik een pauze wil nemen van mijn werk, loop ik het plein op, net zoals ik in het echte leven naar Harvard Square of University Ave zou gaan. [7] Maar een online plein is gevaarlijker dan een fysiek plein. Als ik de halve dag op University Ave zou doorbrengen, zou ik het merken. Ik moet een mijl lopen om er te komen, en in een café zitten voelt anders dan werken. Maar een bezoek aan een online forum kost slechts een klik, en voelt oppervlakkig gezien heel erg als werken. Je verspilt misschien je tijd, maar je bent niet inactief. Iemand heeft ongelijk op internet, en jij lost het probleem op.

Hacker News is absoluut nuttig. Ik heb veel geleerd van dingen die ik op HN heb gelezen. Ik heb verschillende essays geschreven die daar als opmerkingen begonnen. Dus ik zou niet willen dat de site verdwijnt. Maar ik zou er wel zeker van willen zijn dat het geen netto-rem op de productiviteit is. Wat een ramp zou dat zijn, om duizenden slimme mensen naar een site te trekken die hen veel tijd deed verspillen. Ik wou dat ik 100% zeker kon zijn dat dit geen beschrijving van HN is.

Ik heb het gevoel dat de verslavendheid van games en sociale applicaties nog steeds een grotendeels onopgelost probleem is. De situatie nu is als die van crack in de jaren 80: we hebben vreselijk verslavende nieuwe dingen uitgevonden, en we hebben nog geen manieren ontwikkeld om ons ertegen te beschermen. Dat zullen we uiteindelijk wel doen, en dat is een van de problemen waar ik me op wil richten.

Noten

[1] Ik heb geprobeerd gebruikers te rangschikken op zowel gemiddelde als mediaan commentaarsaldo, en gemiddelde (met de hoogste score weggelaten) leek de nauwkeurigere voorspeller van hoge kwaliteit. Mediaan kan echter de nauwkeurigere voorspeller van lage kwaliteit zijn.

[2] Nog iets wat ik van dit experiment heb geleerd, is dat als je onderscheid wilt maken tussen mensen, je er beter voor kunt zorgen dat je het goed doet. Dit is een probleem waarbij snelle prototyping niet werkt.

Dat is inderdaad het intellectueel eerlijke argument om geen onderscheid te maken tussen verschillende soorten mensen. De reden om het niet te doen is niet dat iedereen hetzelfde is, maar dat het slecht is om verkeerd te doen en moeilijk om goed te doen.

[3] Wanneer ik schandalig gelinkjackte berichten tegenkom, vervang ik de URL door die van degene van wie ze hebben gekopieerd. Sites die routinematig linkjacken, worden verbannen.

[4] Digg staat bekend om zijn gebrek aan transparantie. De kern van het probleem is niet dat de jongens die Digg runnen bijzonder sluw zijn, maar dat ze het verkeerde algoritme gebruiken voor het genereren van hun voorpagina. In plaats van van onderaf omhoog te borrelen naarmate ze meer stemmen krijgen, zoals op Reddit, beginnen verhalen bovenaan en worden ze naar beneden gedrukt door nieuwe aankomsten.

De reden voor het verschil is dat Digg is afgeleid van Slashdot, terwijl Reddit is afgeleid van Delicious/popular. Digg is Slashdot met stemmen in plaats van redacteuren, en Reddit is Delicious/popular met stemmen in plaats van bladwijzers. (Je kunt nog steeds fossielen van hun oorsprong zien in hun grafische ontwerp.)

Digg's algoritme is erg vatbaar voor gaming, omdat elk verhaal dat de voorpagina haalt, het nieuwe topverhaal is. Wat Digg op zijn beurt dwingt om te reageren met extreme tegenmaatregelen. Veel startups hebben een soort geheim over de listigheid waarmee ze in de beginfase moesten omgaan, en ik vermoed dat Digg's de omvang is waarin de topverhalen de facto door menselijke redacteuren werden gekozen.

[5] De dialoog op Beavis and Butthead bestond grotendeels uit deze, en als ik opmerkingen op echt slechte sites lees, kan ik ze in hun stemmen horen.

[6] Ik vermoed dat de meeste technieken om domme opmerkingen te ontmoedigen nog ontdekt moeten worden. Xkcd implementeerde een bijzonder slimme in zijn IRC-kanaal: sta niet twee keer hetzelfde toe. Zodra iemand "fail" heeft gezegd, kan niemand het ooit nog zeggen. Dit zou vooral korte opmerkingen bestraffen, omdat ze minder ruimte hebben om botsingen te vermijden.

Een ander veelbelovend idee is de stupid filter, die net als een probabilistisch spamfilter werkt, maar dan getraind op corpora van domme en niet-domme opmerkingen in plaats daarvan.

Je hoeft misschien geen slechte opmerkingen te verwijderen om het probleem op te lossen. Opmerkingen onderaan een lange thread worden zelden gezien, dus het kan voldoende zijn om een ​​voorspelling van de kwaliteit op te nemen in het sorteeralgoritme voor opmerkingen.

[7] Wat de meeste buitenwijken zo demoraliserend maakt, is dat er geen centrum is om naartoe te lopen.

Dank aan Justin Kan, Jessica Livingston, Robert Morris, Alexis Ohanian, Emmet Shear en Fred Wilson voor het lezen van concepten van dit artikel.

Opmerking over dit essay.