Efter flera fall av självmord i realtid på Facebook Live har Facebook infört en algoritm som varnar vid misstänkta självmordsförsök – ett nästan världsomspännande varningssystem som inte är helt oproblematiskt. Bland annat ifrågasätts vilka kriterier som styr Facebooks agerande vid misstänkta självmordsförsök.
Maj 2017. En man i Rock Hill, en medelstor stad i South Carolina i USA, genomför ett självmordsförsök som han sänder i realtid på Facebook Live. En anställd på Facebook reagerar och tar kontakt med lokalpolisen i Rock Hill och beskriver bakgrunden i livesändningen – träd, gatubilden etc. – och uppger även koordinaterna för mannens telefon. Polisen hinner fram i tid för att förhindra självmordet.
Under år 2017 inträffade flera självmord om visades i realtid på Facebook Live. Det är bakgrunden till att företaget har infört en algoritm som scannar av och automatiskt varnar vid inlägg, kommentarer och livesändningar där självmordsförsök kan befaras. När inlägget får en sådan varningsflagga granskas och hanteras det av ett utbildat team på Facebook, som bedömer om det är så allvarligt att teamet bör kontakta den lokala polisen. Enligt företaget har det samarbetat med experter inom suicidprevention för att skapa algoritmen. Teamet agerar även på varningar som uppmärksammas av andra användare.
Under ett enda år har Facebook lyckats hjälpa 3 500 självmordsbenägna användare, skriver Facebooks medgrundare Mark Zuckerberg i november 2018.
Varningssystemet är nu infört globalt för engelsk-, spansk-, portugisisk- och arabisktalande Facebookanvändare. Användare i EU-länder ingår inte i systemet eftersom EU-lagar som reglerar hantering av personliga hälsodata förhindrar det.
Initiativet har dock mött en del kritik. Facebook har exempelvis inte förklarat hur deras expertteam arbetar och vad som avgör om det ska kontakta polisen. I en intervju i The New York Times den 31 december ifrågasätter John Torous, chef för divisionen för digital psykiatri vid Beth Israel Deaconess Medical Center i Boston, om Facebook ger adekvat respons på systemets varningssignaler och kallar det för ”a black box medicine”. Det höjs även röster om att varningssystemet riskerar leda till att enskilda individer tvingas till psykiatriska bedömningar bara på grund av en algoritm och ett samtal till polisen från Facebook, utan att Facebook har kunnat visa att metoden är säker.
