Друштвене мреже: „Укаљају вам мозак“ - како алгоритми дечацима приказују насиље

Било је то 2022. године и Каи, који је тада имао 16 година, скроловао је на телефону.

Он каже да је један од првих видеа које је видео на фиду друштвених мрежа био о слатком псу.

Али, одмах потом, дошло је наглог преокрета.

Он каже да су му „ниоткуда&qуот; препоручени видео снимци некога кога удара аутомобил, монолог инфлуенсера који износи мизогине ставове и инсерти из насилних туча.

Запитао се: Зашто баш ја?

• Зашто деца раде смртоносне ТикТок изазове
• ТикТок пред судом због „нарушавања&qуот; менталног здравља тинејџера
• Нико није крив сем самих силеџија: Нордијски метод за окончање вршњачког насиља

За то време у Даблину, Ендрју Канг је радио као аналитичар безбедности корисника у ТикТоку, на положају на ком је радио 19 месеци, од децембра 2020. до јуна 2022. године.

Он каже да су он и колега одлучили да проуче шта корисницима у Великој Британији препоручују алгоритми ове апликације, међу њима и 16-годишњацима.

Недуго пре тога, он је радио за ривалску компанију Мета, која је власник Инстаграма - још једне мреже коју користи Каи.

Кад је Ендрју проучио садржај на ТикТоку, био је узнемирен откривши да се неким тинејџерима приказују објаве са насиљем и порнографијом, и да им се промовишу мизогини ставови, каже он за ББЦ Панораму.

Он тврди да се, генерално гледано, тинејџеркама препоручује веома другачији садржај на основу њихових интересовања.

ТикТок и друге компаније у чијем су власништву друштвене мреже користе алатке вештачке интелигенције да би уклањали огромну већину штетног садржаја и да обележавају други садржај за преглед људских модератора, без обзира на број прегледа који он има.

Али алатке вештачке интелигенције не могу да препознају баш све.

Ендрју Канг каже да су, док је радио за ТикТок, сви снимци који нису били уклоњени или означени за људске модераторе уз помоћ вештачке интелигенције - или пријављени од других корисника модераторима - поново били прегледани мануелним путем тек ако досегну одређени праг.

Он каже да је у једном тренутку то било намештено на 10.000 прегледа или више.

Страховао је да то значи да су неки млађи корисници изложени штетним видео снимцима.

Већина компанија за друштвене мреже дозвољавају људима од 13 година или старијим да се сами пријаве на мрежу.

ТикТок каже да 99 одсто садржаја које уклања због кршења његових прописа одстрањују вештачка интелигенција или људски модератори пре него што достигну 10.000 прегледа.

Каже и да спроводи проактивне истраге за видео снимке са мањим бројем прегледа од тог.

Док је радио за Мету између 2019. и децембра 2020. године, Ендрју Канг каже да је постојао један другачији проблем.

Он каже да, иако су већину видеа уклањале алатке вештачке интелигенције или их пријављивале модераторима, сајт се ослањао на кориснике да пријаве друге видео снимке једном кад су их већ погледали.

Канг додаје да је изразио забринутост док је радио у обе компаније, али да је наишао углавном на инертност, каже он, из страха од количине посла који би био неопходан или трошкова.

Он наводи да су накнадно нека побољшања урађена у ТикТоку и Мети, али додаје да су млађи корисници, попут Каија, били у међувремену препуштени на милост и немилост.

Неколико бивших запослених из компанија у чијем су власништву друштвене мреже рекло је за ББЦ да је забринутост Ендрјуа Канга у складу са њиховим сазнањима и искуством.

Алгоритми из свих великих друштвених мрежа редовно препоручују штетан садржај деци, чак и ако је то ненамерно, каже за ББЦ британски регулатор Офком.

„Компаније жмуре над тим и опходе се према деци као према одраслима&qуот;, каже Алмудена Лара, директорка Офкома за развој онлајн политике безбедности.

• Школа страха и насиље над просветним радницима: „Никад нећу заборавити нож уперен у моју главу&qуот;
• „У зачараном кругу”: Како се школе боре против вршњачког насиља у Србији
• Зашто вршњачко насиље погађа скоро половину деце у Србији

'Мом пријатељу је био потребан повратак у стварност'

ТикТок је за ББЦ рекао да поседује безбедносна подешавања која су „водећа у овој индустрији&qуот; и да запошљава више од 40.000 људи који гарантују безбедност корисницима.

Он је рекао да само ове године планира да уложи „више од 2 милијарде долара у безбедност&qуот;, а од садржаја који уклања због кршења његових прописа 98 одсто проналази проактивно.

Мета, која је власник Инстаграма и Фејсбука, каже да има више од 50 различитих алатки, ресурса и функција који тинејџерима „обезбеђују позитивна искуства у складу са њиховим годинама&qуот;.

Каи је рекао за ББЦ да је покушао да користи један од Инстаграмових алата и један сличан њему на ТикТоку да би назначио да га не занима насилан и мизогини садржај - али тврди да су они наставили да му га препоручују.

Њега занима УФЦ (Ултимате Фигхтинг Цхампионсхип), такмичење у мешовитим борилачким вештинама.

Такође је затекао себе како гледа видео снимке контроверзних инфлуенсера који су му препоручени, али он каже да није желео да му буде препоручен тај екстремнији садржај.

„У глави вам се појави слика и ви после не можете више да је избаците. Укаљан вам је мозак. И онда само на то мислите остатак дана&qуот;, каже он.

Девојкама истог годишта које познаје препоручују се видео снимци о темама као што су музика и шминка уместо насиља, каже он.

У међувремену, Каи, који данас има 18 година, каже да му се и даље сервира насилан и мизогини садржај, и на Инстаграму и на ТикТоку.

Кад скролујемо кроз његове Инстаграм рилове, међу њима налазимо и слику која се подсмева на рачун породичног насиља.

На њој су два лика један поред другог, од којих један има модрице, са потписом: „Мој љубавни речник.&qуот;

На другој је особа коју је прегазио камион.

Каи каже да је приметио како видео снимци са милионима лајкова умеју да буду убедљиви младим људима његових година.

На пример, он каже да је један од његових пријатеља потпао под утицај садржаја контроверзног инфлуенсера - и почео је да примењује његове мизогине ставове.

Његов пријатељ је „отишао предалеко с тим&qуот;, каже Каи.

„Почео је да говори разне ружне ствари о женама. Имао сам осећај да морам да вратим пријатеља у стварност.&qуот;

Каи каже да је коментарисао на објавама да би показао да му се оне не свиђају, а кад је случајно лајковао видео снимке, покушао је да повуче лајк, у нади да ће то ресетовати алгоритме.

Али он каже да је на крају још више таквог садржаја почело да му затрпава фидове.

Како, дакле, стварно раде алгоритми ТикТока?

Према Ендрјуу Кангу, алгоритме храни интеракција, без обзира на то да ли је позитивна или негативна.

То би делимично могло да објасни зашто Каијеви напори да изманипулише алгоритме нису функционисали.

Први корак за кориснике је да конкретизују нека допадања и интересовања кад се први пут пријаве на мрежу.

Ендрју каже да је нешто од садржаја који алгоритам првобитно сервира, на пример, 16-годишњаку, засновано на преференцијама које је он дао, као и преференцијама других корисника сличног годишта који живе на сличној локацији.

Према ТикТоку, на алгоритме не утиче пол корисника.

Али Ендрју каже да интересовања која тинејџери покажу кад се пријаве често има ефекат поделе по полној линији.

Бивши запослени у ТикТоку каже да неки 16-годишњаци могу бити изложени насилном садржају „од самог почетка&qуот;, зато што су други тинејџерски корисници са сличним преференцијама изразили интересовање за овај тип садржаја - чак и ако то само значи провођење више времена на видеу који им привуче пажњу толико мало дуже.

Интересовања која су исказале многе тинејџерке у профилима које је он проучио - „поп певачи, песме, шминка&qуот; - значила су да им неће бити препоручен насилни садржај, каже он.

Он каже да алгоритми користе „учење преко утврђивања&qуот;, што је метод у ком системи вештачке интелигенције уче на покушајима и властитим грешкама, и обучавају сами себе да препознају понашање према различитим видео снимцима.

Ендрју Канг каже да су они осмишљени тако да максимизују интеракцију тако што ће вам приказати видео снимке од којих очекују да ћете их гледати дуже времена, коментарисати их или лајковати - све само да би вас навели да се враћа по још.

Алгоритам који препоручује садржај за ТикТокову „За тебе&qуот; страницу, каже он, не разликује увек штетан садржај од нештетног.

Према Ендрјуу, један од проблема који је препознао док је радио за ТикТок био је да тимови који су учествовали у обучавању и кодирању тог алгоритма нису увек знали тачну природу видеа које препоручују.

„Они виде број гледалаца, године, тренд, ту неку врсту апстрактних података. Они заправо нису нужно изложени самом том садржају&qуот;, каже ми бивши аналитичар ТикТока.

Зато су 2022. године он и колега одлучили да погледају какви се видео снимци препоручују ширем дијапазону корисника, међу њима и 16-годишњацима.

Он каже да су били забринути због насилног и штетног садржаја који се сервира неким тинејџерима, и предложили су ТикТоку да ажурира систем модерирања.

Желели су да ТикТок јасно означи видео снимке тако да сви који раде могу да виде зашто су они штетни - екстремно насиље, злостављање, порнографија и тако даље - и да ангажује више модератора специјализованих за те различите области.

Ендрју каже да су њихове предлози тада били одбијени.

ТикТок тврди да је тада имао специјализоване модераторе и, како је његова платформа расла, настављао је да ангажује више њих.

Он каже и да је раздвојио различите типове штетног садржаја - у нешто што зове редовима - за модераторе.

Погледајте и ову причу:

'Преклињање тигра да вас не поједе'

Ендрју Канг каже да је изнутра из ТикТока и Мете деловало као да је заиста тешко довести до промена које је сматрао неопходним.

„Кад молимо приватну компанију чији су интереси да промовише своје производе да се сама модерише, то је као да молите тигра да вас не поједе&qуот;, каже он.

Он каже и да мисли како би животи деце и тинејџера били бољи кад би престали да користе паметне телефоне.

Али за Каија, забрањивање телефона или друштвених мрежа тинејџерима није решење.

Његов телефон је од кључне важности за његов живот - веома важан начин да разговара са пријатељима, сналази се кад изађе и плаћа за ствари.

Уместо тога, он жели да компаније у чијем су власништву друштвене мреже више слушају шта тинејџери не желе да виде.

Он жели да фирме направе алате који омогућавају корисницима да назначе интересовања ефикаснијима.

„Осећам се као да компаније у чијем су власништву друштвене мреже не цене ваше мишљење, док год им то доноси новац&qуот;, каже ми Каи.

• Пљуште оптужбе против Инстаграма у Америци због штетног утицаја на младе
• Како разговарати са децом о контроверзном инфлуенсеру Ендрјуу Тејту

У Великој Британији, нови закон ће приморати друштвене мреже да верификују годиште деце и спрече сајтове да препоручују порнографију или други штетни садржај младима.

Британски медијски регулатор Офком је задужен да се он спроведе у дело.

Алмудена Лара, директорка Офкома за развој онлајн политике безбедности, каже да иако је штетан садржај који углавном погађа младе жене - као што су снимци који промовишу поремећаје у исхрани и самоповређивање - с правом били у жижи јавности, алгоритамски путеви који усмеравају мржњу и насиље углавном ка дечацима тинејџерског узраста и младићима добијали су мање пажње.

„Обично мањина деце буде изложена најштетнијем садржају. Али ми знамо, међутим, да једном кад сте изложени штетном садржају, то постаје неизбежно&qуот;, каже Лара.

Офком тврди да може новчано да казни компаније и да може да покрене кривично гоњење ако оне не ураде довољно, али да те мере неће ступити на снагу све до 2025. године.

ТикТок тврди да користи „иновативну технологију&qуот; и пружа подешавања за безбедност и приватност тинејџера који су „водећи у индустрији&qуот;, међу њима и системе за блокирање садржаја који можда није одговарајући, и да не дозвољава екстремно насиље и мизогинију.

Мета, у чијем су власништву Инстаграм и Фејсбук, каже да има више од „50 различитих алата, ресурса и функција&qуот; који пружају тинејџерима „позитивно искуство примерено њиховим годинама&qуот;.

Према Мети, она тражи повратне информације од властитих тимова, а потенцијалне промене политике пролазе кроз строго контролисане процесе.

ББЦ на српском је од сада и на Јутјубу, пратите нас ОВДЕ.

Пратите нас на Фејсбуку, Твитеру, Инстаграму, Јутјубу и Вајберу. Ако имате предлог теме за нас, јавите се на ббцнасрпском@ббц.цо.ук

(ББЦ Невс, 10.30.2024)