Analīze: Twitter pūļa faktu pārbaudes eksperiments atklāj problēmas

Poynter analīzē atklājās, ka mazāk nekā puse Birdwatch lietotāju izmanto avotus un daudzās faktu pārbaudes piezīmēs ir ietverta partizānu retorika.

Twitter Birdwatch algoritma 14. februāra versija papildināja dažas piezīmes ar maldinošu informāciju.

5. februārī Twitter atzīmēja karodziņu ziņa no pretrunīgi vērtētā YouTube lietotāja Tima Poola teikts, ka 2020. gada ASV prezidenta vēlēšanas bija viltotas. Platforma atzīmēja, ka prasība tika apstrīdēta un izslēdza saderināšanos 'vardarbības riska dēļ'.

Bet tālāk Putnu vērošana , sociālo mediju platforma eksperimentēt ar pūļa avotu faktu pārbaudi Saskaņā ar 14. februāra Twitter datu analīzi lietotāji pārliecinoši teica, ka tvīts nav maldinošs. Un lielākā daļa Birdwatch lietotāju rīkā norādīja, ka šīs piezīmes, kas atbalstīja atmaskotos apgalvojumus, ir noderīgas un informatīvas.

'Saskaņā ar TIME oficiālo (sic) avotu, ēnu organizācijā bija labi organizēta slepenu dalībnieku grupa, kas izklausās pēc sadursmes, kas strādāja kopā, lai virzītu vēlēšanas par labu Džo Baidenam,' teikts vienā piezīmē. Kamēr lietotājs iekļauj saiti uz žurnāla Time raksts kas patiešām izmanto tādus vārdus kā 'sadursme' un 'sazvērestība', gabala konteksts, ka spēcīgas grupas strādāja aizkulisēs, lai aizsargātu vēlēšanu integritāti, ir zaudēts.

The Putnu vērošanas algoritms , kuras mērķis ir parādīt noderīgas piezīmes, šai “faktu pārbaudei” ir piešķīrusi noderīguma punktu 0,68 — augstāko no piezīmēm tvītā, kas atrodas ārpus 10% lielāko piezīmju, kuras algoritms uzskatīja par “noderīgām” no plkst. 14. februāris. Noderīgi novērtētās piezīmes veidoja aptuveni 7% no 2695 šajā analīzē, un mazāk nekā divās trešdaļās no tiem ir avota saite, kas nav cits tvīts.

17. februārī Twitter mainīja savu algoritmu un piezīmes Pool tvītā vairs netiek novērtētas kā noderīgas, lai gan tās joprojām ir norādīti zem ziņas . Pirms šīm izmaiņām bija zemāks slieksnis, kas jāuzskata par noderīgu — tikai 0,5 salīdzinājumā ar jauno 0,84 robežvērtību, un piezīmēm bija nepieciešami tikai trīs vērtējumi, lai tās tiktu uzskatītas par noderīgām, prioritārām un atzīmētām ar zilu piezīmi.

Tagad piezīmei ir jāsavāc pieci vērtējumi, lai ievietotu šo tvītu jauna cilne “Novērtēta noderīga” pakalpojumā Birdwatch . Un no šīm gandrīz 2700 piezīmēm platformas datu bāzē 126 sasniedza jauno slieksni — tas ir mazāk nekā 5%. Trīs ceturtdaļās jauno “noderīgo” piezīmju bija avots ārpus Twitter.

Tā ir savlaicīga ilustrācija vienai no problēmām, ar ko saskaras Birdwatch modelis: vai algoritms, ko baro šķietami nejauša cilvēku grupa, var precīzi “novērtēt” patiesību?

Birdwatch savā izmēģinājuma posmā ar nedaudz vairāk nekā 1000 lietotājiem ļauj dalībniekiem atzīmēt tvītus kā maldinošus un pievienot piezīmi, kas atsaucas uz avotu un/vai izskaidro kontekstu, kāpēc tas var būt maldinošs. Pēc tam Birdwatch lietotāji var sakārtot šīs piezīmes, pamatojoties uz izpalīdzību (pēc tam algoritms pārņem to).

Galu galā visi Twitter lietotāji, šķiet, varēs redzēt šīs piezīmes tieši zem tvītiem, taču pagaidām tās ir tikai konkrēta vietnes sadaļa . Birdwatch lietotāji arī galu galā izveidos reputācijas rādītāju, kas tiks iekļauts izpalīdzības algoritmā.

'Mūsu mērķis ar Birdwatch pilotu ir izveidot sistēmu, kurā ikviens var sniegt savu ieguldījumu, un tas, protams, paaugstina informāciju, kas cilvēkiem šķiet noderīga,' e-pastā sacīja Twitter produkta viceprezidents Kīts Kolmens. 'Mēs uzskatām, ka atklātība attiecībā uz to, kas var dot savu ieguldījumu, ir svarīga un ka, izmantojot dažādu grupu ieguldījumu, var iegūt visnoderīgākās piezīmes.'

Taču, aplūkojot sistēmu, kāda tā ir tagad, atklājas izaicinājumi, ko faktu pārbaudītāji ir izvirzījuši saistībā ar Birdwatch: lietotāju zināšanu trūkums faktu pārbaudē, grūtības izveidot algoritmu, kas kaut kādā veidā atklātu viscienījamāko lietotāju noderīgās piezīmes un jautājumi par lietotāju partizānu motivāciju.

'Es neesmu pārsteigts par šiem atklājumiem, ņemot vērā sociālo mediju platformu polarizēto raksturu un galveno lietotāju vilcināšanos sniegt atsauksmes par šādiem platformu piedāvātajiem jautājumiem, turpretim motivēti lietotāji no abām ejas pusēm uzskata platformas par kaujas laukiem, lai popularizētu savus stāstījumus. citi,” sacīja Starptautiskā faktu pārbaudes tīkla direktors Baybars Örsek.

Vairums ražīgāko Birdwatch lietotāju piezīmju tvītus, kas kritizē labējos, atzīmē kā “maldinošus”, bet kreisos – kā “nemaldinošus”. (Piemēram, lietotājs atzīmēja tvītu, kurā teikts Komanda Baidens ir maiga pret Ķīnu ” no senatora Ted Cruz and the Pool čivināt kā “nav maldinošs”; kamēr Newsweek raksts par galēji labējiem ekstrēmistiem un GameStop sāgu un tvīts prezidenta Donalda Trampa saistīšana ar Kapitolija nemieriem tika atzīmēta kā “maldinoša” un “kaitīga”.) Un mazāk nekā vienā piektdaļā no lietotāja 82 piezīmēm ir iekļauts avots, no kuriem vairāki ir citi tvīti. (Šis Birdwatch lietotājs neatbildēja uz intervijas pieprasījumu.)

Kolmans sacīja, ka Birdwatch var mudināt apsvērt piezīmes, kas nāk no 'dažādu līdzstrādnieku kopuma'. Turklāt reitingu sistēma ir galvenais platformas virzītājspēks

'Mēs uzskatām, ka tie atalgos un stimulēs ieguldījumus, kas daudziem cilvēkiem šķiet vērtīgi, un novērš risku, ka viena konkrēta grupa vai ideoloģija pārņems Birdwatch,' sacīja Kolmans. 'Šī ir lieta, pie kuras mēs aktīvi strādāsim visā izmēģinājuma periodā.'

Patiešām, piezīmes, kuras algoritms pēc 17. februāra izmaiņām ierindoja visnoderīgākajās, liecina par precīzāku izcelsmi un mazāk partizānu retoriku nekā tikai dienu iepriekš veiktais atkārtojums. Taču viena lieta ir mainīt algoritmu izmēģinājuma programmai ar 1000 lietotājiem un mazāk nekā 2700 piezīmēm, bet algoritma maiņa, tiklīdz Birdwatch būs pieejams visiem lietotājiem, ir cita lieta — un kas zina, vai algoritma efektivitāte saglabāsies, kad lietotāji sāks liet. platformā, iespējams, atkārtojot dažu ražīgāko pilota dalībnieku uzvedību.

'Mums pašlaik nav konkrēta mērogošanas laika grafika, jo mēs strādājam, lai uzzinātu pēc iespējas vairāk un veiktu atkārtojumus, kamēr pilots ir mazs,' sacīja Kolmens. 'Mēs plānojam palielināt apjomu, jo varam to darīt droši un kad tas var palīdzēt uzlabot mācīšanos.'

Tomēr, tāpat kā ar piezīmēm zem Pool tvīta, ir partizānu piemēri vai maldinoša informācija joprojām redzamas kā regulāras piezīmes.

Četriem no pieciem aktīvākajiem lietotājiem, kuri veido vairāk nekā 10% no kopējām piezīmēm, ir līdzīga darbība kā visproduktīvākajam lietotājam. Viens no viņiem apgalvo, ka Džefrija Epšteina nāve nekad netika uzskatīta par pašnāvību. Tomēr otrs ražīgākais putnu vērotājs katrā piezīmē atsaucas uz avotu, tostarp saites no Pasaules Veselības organizācijas un FactCheck.org .

Neviens no 10 populārākajiem lietotājiem saskaņā ar viņu Twitter biogrāfiju nav profesionāls faktu pārbaudītājs vai žurnālists.

'Faktu pārbaude patiesībā ir smags darbs, jo tas ir garīgi prasīgs,' e-pastā sacīja PolitiFact galvenā redaktore Endžija Holana. “Jums patiešām ir jākoncentrējas un jāiziet cauri garīgajai inercei, lai identificētu apgalvojumus un pēc tam izdomātu veidus, kā tos atmaskot vai pārbaudīt. Pēc tam jums ir jāmeklē un pēc tam jāraksta secinājumi. Tā nav diena pludmalē, atklāti sakot. Un, ja faktu pārbaudītājam ir partizānu motivācija, tas pamatīgu un vienmērīgu piepūli padara vēl grūtāku.

Neskatoties uz problēmām, Birdwatch atzīmē dezinformāciju, ko tradicionālie faktu pārbaudītāji var palaist garām vai izvēlēties to neveikt iespējamā kaitējuma dēļ, kas varētu palīdzēt aizpildīt dažas nepilnības digitālajā dezinformācijā. Laikā spēles apstāšanās sāga , dezinformācija par šī uzņēmuma akcijām ātri izplatījās dažādās platformās.

Snopes un PolitiFact nevērtēja pretenzijas saistībā ar GameStop, savukārt Novērtēti vadošie stāsti viens Reddit ieraksts. Taču vietnē Birdwatch visaugstāk novērtētā piezīme — izpalīdzības rādītājs 1,00 — atzīmēja maldinošu tvītu par Reddit, kur notika saruna par akcijām. Bija aptuveni 50 piezīmes par Reddit, GameStop un Robinhood investīciju lietotni, ar kurām šī mēneša sākumā notika liels tirdzniecības apjoms.

Un Birdwatch lietotāji pareizi atzīmēja kontu, kas apgalvoja, ka pieder Virdžīnijas senatorei Amandai Čeisai, kā viltotu. tvītoja , '... Virdžīnijā mums ir narkotiku problēma, un marihuānas legalizēšana tikai izraisīs vairāk marihuānas pārdozēšanas un nāves gadījumu ...'

Crowdsourcing var atvieglot profesionālu faktu pārbaudītāju dzīvi, atklājot dezinformāciju, sacīja Örseks.

Kolmans sacīja, ka Twitter ir apņēmies saglabāt pārredzamību, kas padarīja šo analīzi iespējamu, un iekļaut ekspertu ieguldījumu platformas nākotnē.

“No darba ar iegulto komandas locekli no Čikāgas Universitātes RISC centrs , lai rīkotu atgriezeniskās saites sesijas ar reportieriem un pētniekiem, mēs strādājam, lai izmantotu milzīgo pieredzi un zināšanas, kas pastāv ārpus Twitter,” viņš teica.

Holans un Örseks iesaka stimulus un apmācību Birdwatch lietotājiem, kā arī nodarbināt profesionālus faktu pārbaudītājus, lai pārbaudītu augsta ranga piezīmes.

'Bet es diezgan šaubos par tehnoloģiju uzņēmumiem, kuri uzskata, ka viņu lietotāji bez maksas regulēs saturu,' sacīja Holans. 'Lielākā daļa lietotāju neuzskata par savu darbu palīdzēt platformām vadīt savu biznesu.'