Overtale algoritmer med en AI Nudge

Faktsjekk kan redusere spredningen av upålitelige nyheter. Det kan også gjøre det motsatte.

(dette innlegget opprinnelig dukket opp på civilservant.io)

Lesere av r / worldnews på reddit rapporterer ofte tabloid-nyheter til de frivillige moderatorene og ber dem om å forby tabloider for sine sensasjonsartikler. Disse pyntet historiene fanger folks øyne, tiltrekker kontroverser og blir lagt merke til av reddits rangeringsalgoritme, som sprer dem enda mer.

Å forby nyhetsbrev kan avslutte denne tilbakemeldingssløyfen, men moderatorene i samfunnet er imot teppetforbud. For å løse dette puslespillet trengte moderatorer å svare på et spørsmål i hjertet av debatter om såkalte "falske nyheter": hvordan kan vi bevare bidragsyteres frihet og samtidig påvirke gjensidig oppførsel til mennesker og algoritmer til felleskapets beste?

I vinter jobbet moderatorer sammen med CivilServant for å teste en ide: hva er effekten av å oppmuntre faktasjekking til responsen på upålitelige nyheter? Vi ønsket å se hvordan r / worldnews-samfunnet ville reagere. Vi har også observert effekten på reddits rangeringer. Hvis reddits algoritmer tolker faktasjekking som popularitet, kan upålitelige artikler spre seg enda mer.

Tabloid-nyheter er omtrent 2,3% av alle innleveringer til dette 15 millioner abonnentfellesskapet som diskuterer nyheter utenfor USA. I r / worldnews vurderer 70 moderatorer omtrent 450 artikler per dag og lar 68% av disse artiklene forbli. Siden det er en standard subreddit, får de fleste reddit-lesere verdensnyheter gjennom dette fellesskapet. Mens fellesskapets rekkevidde er dverget av Facebook, kan r / worldnews være den største gruppen for å diskutere verdensnyheter hvor som helst på det engelsktalende internett. Selv små effekter i dette samfunnet kan utgjøre en stor forskjell i hvordan millioner av mennesker gir mening om potensielt upålitelig informasjon om verden.

I vår studie fra 27. november til 20. januar testet vi A / B meldinger som oppmuntret samfunnet til å sjekke fakta og stemme på tabloid-nyheter. Dette er hva vi fant:

Effekten av å oppmuntre til faktakontroll på fellesskapets atferd

Innen diskusjoner om tabloidinnlegg om r / worldnews, oppmuntring til faktasjekking øker forekomsten av kommentarer med lenker med gjennomsnittlig 2x, og oppmuntring til faktasjekking + avstemning har en lignende effekt.

Effekten av å oppmuntre til faktsjekk på Reddits algoritmer

Vi observerte over 24 timer, og vi fant også ut at gjennomsnittlig, klebrig kommentarer som oppmuntret til faktasjekking forårsaket en 2x reduksjon i reddit-poengsum for tabloid-innsendinger, en statistisk signifikant effekt som sannsynligvis påvirket rangeringen i subreddit. Da vi også oppfordret leserne til å stemme, forsvant denne effekten.

AI Nudges: Overtaler algoritmer mens du bevarer friheten

Våre spørsmål om tabloide nyheter la til en algoritmisk dimensjon til et klassisk styringsspørsmål: hvordan kan mennesker med makt arbeide mot felleskapets beste og samtidig redusere begrensningene for individuell frihet?

vi kan overtale algoritmer til å oppføre seg annerledes ved å overtale folk til å oppføre seg annerledes.

Over internett lærer folk å leve med AI-systemer de ikke kan kontrollere. For eksempel finjusterer Uber-sjåfører kjøringen for å optimalisere inntekten. Vår kollektive atferd påvirker allerede AI-systemer hele tiden, men foreløpig mangler publikum informasjon om hva den innflytelsen faktisk er. Disse ugjennomsiktige resultatene kan være et problem når algoritmer utfører sentrale roller i samfunnet, som helse, sikkerhet og rettferdighet. For å løse dette problemet designer noen forskere systemer i samfunnet i sløyfen [4]. Andre utvikler metoder for å revidere algoritmer [5] [6]. Likevel gir ingen av tilnærmingene en måte å styre den daglige oppførselen til systemer hvis kode vi ikke kan kontrollere. Studien vår med r / worldnews tilbyr en tredje retning; vi kan overtale algoritmer til å oppføre seg annerledes ved å overtale folk til å oppføre seg annerledes.

Noen mennesker lurer kanskje på om dette eksperimentet utgjør stemme-manipulasjon, noe som er i strid med reddit politikk. Klistrelappene våre bryter ikke noen av reddits regler for personlig vinning (vi opprettet heller ikke falske kontoer, fortalte folk hvordan de skal stemme eller organisere en stemmeblok). Men vi viste at å oppmuntre folk til faktasjekk hadde en systematisk effekt på reddits algoritmer.

Ideen om “AI nudges” gir oss en måte å tenke på pro-sosial innsats for å påvirke menneskers og maskinens atferd mens vi bevarer individuell frihet. Richard Thaler og Cass Sunstein foreslo først "nudges" som måter for institusjoner å utøve sin makt mens de bevarer individuell frihet [7]. Sammenlignet med å forby tabloide nyheter, er AI nudge til å oppmuntre til faktasjekking den letteste handlingen som moderatorer kan utføre. Ingen persons evne til å dele nyheter, kommentere eller stemme blir tatt bort, men AI-nudgen demper fortsatt spredningen av upålitelige nyheter.

Som Sunstein og Thaler påpeker, er det ikke alltid åpenbart om disse lett berøringsinngrepene vil ha det ønskede resultatet. Det er grunnen til at vi systematisk bør teste effekten av dem, spesielt siden uprøvde systemer kan ha uventede resultater.

Styring og etikk av AI Nudges

Nudges fra regjeringer og sosiale eksperimenter av online plattformer tiltrekker ofte lignende kritikk. Jeg tror folk har rett til å forvente ansvarlighet fra de som utøver nudging makt. Ved å jobbe med frivillige moderatorer har jeg vært i stand til å jobbe med større grad av åpenhet og ansvarlighet enn det som er typisk innen sosial databehandling. Alle CivilServant-studier er designet med og av moderasjonsteam, og alle resultatene blir offentliggjort først for samfunnet i en subreddit-debriefing. Studieutformingene våre er oppført offentlig i Open Science Framework før vi starter, og all koden vår er åpen kildekode. Fullstendige analysedetaljer er også offentlige, så alle kan sjekke konklusjonene våre. Det eneste vi holder tilbake er de faktiske dataene, siden vi respekterer personvern til alle involverte.

Totalt sett er jeg håpefull om at AI-nudges, spesielt når de ledes av lokalsamfunnene selv, tilbyr en spennende retning for publikum til å styre rollen som algoritmer i samfunnet, samtidig som de også bevarer individuell frihet.

Hvordan studien fungerte

For denne testen startet moderatorer med en liste over nyhetskilder som ofte mottar klager. Fra 27. november til 20. januar tildelte vi tilfeldig hver nye tabloid-lenke til en av tre forhold: (a) ingen klebrig kommentar, (b) en klebrig kommentar som oppmuntrer til skepsis, (c) en klebrig kommentar som oppmuntrer til skepsis + avstemning (full informasjon her ).

Vi la ut denne meldingen på toppen av tabloide nyhetsdiskusjoner

Det andre oppfordrer folk til å faktasjekke artikkelen og vurdere å nedstemme koblingen hvis de ikke finner støttebevis for påstandene:

Denne andre meldingen oppfordret folk til å vurdere å nedstemme

Kan fakta-sjekke atferd påvirke hvordan reddits algoritmer ser upålitelige nyheter?

Selv om vi var sikre på at lesere av verdensomspennende nyheter ville hjelpe hvis moderatorer spurte, lurte vi også på: hvis vi øker kommentarer til tabloid-nyheter, kan vi tilfeldigvis føre til at reddits algoritmer promoterer disse tabloid-koblingene?

Hvis faktasjekking økte populariteten til upålitelige nyhetskilder, kan samfunnet trenge å tenke nytt på hvor de skal anstrenge seg. Det er grunnen til at moderatorer testet en annen klebrig kommentar, den som oppfordrer leserne til å vurdere å nedstemme.

For å teste effekten av klistrete kommentarer på reddits algoritmer, samlet CivilServant-programvaren data om poengsummen for innlegg hvert fjerde minutt. Plattformen publiserer ikke nøyaktig hva som går inn i poengsummen eller nøyaktig hvordan rangeringen fungerer (spurte jeg). Imidlertid kunne vi pålitelig forutsi subreddit HOT-siderangering av et innlegg fra alder og poengsum (alle detaljer her). I utgangspunktet, hvis faktasjekking hadde stor innvirkning på en artikkels poengsum, hadde det sannsynligvis en effekt på en artikkels rangering over tid på subreddit-forsiden. Jeg testet dette på to måter: ved å sammenligne score etter 24 timer, og ved å modellere endringer i score over tid.

Jeg brukte en negativ binomialmodell for å teste effekten på score etter 24 timer. Ettersom reddits algoritmer sto under eksperimentet vårt, oppmuntret faktasjekking til at tabloidinnleveringer fikk 49,1% (2,04x lavere) poengsummen for innsendinger uten klebrig kommentar, etter 24 timer, i gjennomsnitt i r / worldnews. Effekten er statistisk signifikant. I denne modellen klarte jeg ikke å finne en effekt fra de klissete kommentarene som oppmuntret leserne til å vurdere å nedstemme.

Jeg testet også effekten av faktasjekking på veksttakten for et innleggets score over tid. For å stille dette spørsmålet, passer jeg på en tilfeldig avskjæring lineær regresjonsmodell på den loggtransformerte poengsummen for et innlegg hvert fjerde minutt. Jeg fant ut at oppmuntrende faktasjekking gjør at vekstgraden i score er lavere. Her fant jeg ut at oppmuntrende stemmegivning faktisk har en liten positiv effekt på vekstraten i score over tid, i gjennomsnitt. Siden vi kjørte eksperimentet under en endring i reddits algoritmer i begynnelsen av desember 2016, fant jeg også ut at effekten av disse klebrig kommentarene på reddits algoritmer kan ha endret seg etter at reddit justerte algoritmene (detaljene).

Hvem hjalp fakta med å sjekke nyhetsartiklene?

Av 930 kommentarer uten bot med koblinger som moderatorer lot være, bidro 737 brukerkontoer koblinger til ytterligere bevis. Av disse ga 133 kontoer mer enn en kommentar med lenker. Mange sjekket faktiske innleveringer, og innsendere la ut 81 kommentarer for ytterligere informasjon.

Hva kan vi ikke vite av denne studien?

Denne testen ser på utfall i diskusjoner i stedet for individuelle kontoer, så vi kan ikke vite om enkeltpersoner var overbevist om å være mer skeptiske, eller om de klissete kommentarene fikk allerede skeptiske personer til å undersøke og dele. Jeg har heller ingen bevis for effekten av faktasjekking på leserne, selv om annen forskning antyder at faktasjekking påvirker leserens tro [2] [3].

Denne studien kan ikke fortelle oss mye om hvorfor vi ser en så stor endring i algoritmiske effekter når vi endrer meldingen ved å oppmuntre leserne til å vurdere nedstemming. Denne forskjellen kan være et eksempel på hva psykologer kaller "reaktans", en motstand mot forslag fra autoritet. Eller hvis nyhetssendere bekymrer seg for at koblingene deres kan bli nedprioritert, kan de be om hjelp, noe som balanserer lesernes oppførsel.

Ville dette fungere med andre typer lenker, i andre subreddits, eller på andre nettsteder? Denne studien er begrenset til et spesifikt fellesskap og en liste over nettsteder. Selv om jeg mistenker at mange store nettlesersamfunn vil hjelpe faktasjekking av lenker hvis moderatorer spurte, er funnene våre om reddit-algoritmen mye mer plassert.

Vi kunne svare på disse spørsmålene hvis flere subreddits bestemte seg for å prøve lignende eksperimenter. Hvis du er interessert, kan du kontakte meg på reddit for å diskutere å kjøre et lignende eksperiment og registrere deg for e-postoppdateringer.

Lær mer om dette eksperimentet

Doktorgraden min innebærer å støtte lokalsamfunn for å teste effekten av egen moderasjonspraksis. Jeg designet dette eksperimentet sammen med r / worldnews-moderatorer, og det ble godkjent av MIT-komiteen for bruk av mennesker som eksperimentelle emner. Hvis du har spørsmål eller bekymringer, kan du kontakte natematias på redditmail.

Dette eksperimentet, som all min forskning på reddit så langt, ble utført uavhengig av reddit-plattformen, som ikke hadde noen rolle i planleggingen eller utformingen av eksperimentet. Eksperimentet er foreløpig ikke evaluert av fagfeller. Alle resultater fra CivilServant legges ut offentlig tilbake til de involverte samfunnene så snart resultatene er klare, og akademiske publikasjoner kommer senere.

Fullstendige detaljer om eksperimentet ble publisert på forhånd i en forhåndsanalyseplan på osf.io/hmq5m/. Hvis du er interessert i statistikken, har jeg publisert hele detaljene i analysen.

referanser

[1] Salganik, M. J., & Watts, D. J. (2008). Å lede flokken på villspor: En eksperimentell studie av selvoppfyllende profetier i et kunstig kulturelt marked. Sosialpsykologi kvartalsvis, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz og John Cook. Feilinformasjon og korreksjon av den fortsatte påvirkningen og vellykket debiasering. Psykologisk vitenskap i allmenn interesse, 13 (3): 106–131, desember 2012.

[3] Thomas Wood og Ethan Porter. Den unnvikende backfire-effekten: Mass Attitudes 'standhaftige faktaopphevelse. SSRN Scholarly Paper ID 2819073, Social Science Research Network, Rochester, NY, august 2016.

[4] Rahwan, Iyad (2016) Society-in-the-Loop: Programmering the Algorithmic Social Contract. Medium

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios og Cedric Langbort. 2014. Revisjonsalgoritmer: Forskningsmetoder for å oppdage diskriminering på internettplattformer. Data og diskriminering: Konvertering av kritiske forhold til produktiv undersøkelse, International Meeting Association årsmøte, 2014

[6] Diakopoulos, N., & Koliska, M. (2016). Algoritmisk åpenhet i nyhetsmediene. Digital journalistikk, 1–20.

[7] Thaler, R. H., & Sunstein, C. R. (2003). Libertarian paternalisme. The American Economic Review, 93 (2), 175–179.