Gewalt, Hass, Kinderpornos: So arbeitet die heimliche Müllabfuhr des Internets

Szene aus dem Film "The Cleaners": "Wenn du lange in einen Abgrund blickst, blickt der Abgrund auch in dich hinein." Friedrich Nietzsche bild: gebrueder beetz filmproduktion

Gewalt, Hass und Kinderpornos: So arbeitet die heimliche Müllabfuhr des Internets

Ihr Film berichtet über Menschen, die in Manila in einem Löschteam für Facebook arbeiten. Ihre Arbeit ist sehr wichtig, aber auch extrem belastend. Denn sie bekommen extreme Gewalt, sexuellen Kindesmissbrauch und Enthauptungen zu sehen. Stundenlang.

Drei Milliarden Menschen sind durch soziale Netzwerke verbunden. Jede Minute werden 500 Minuten Video bei YouTube hochgeladen, 450.000 Tweets bei Twitter abgesetzt und 2,5 Millionen Posts bei Facebook abgesetzt. „Nicht alles, was hochgeladen wird, bleibt“. So beginnt der Film über die Löscharbeiter. Block und Riesewieck recherchieren seit Jahren zu dem Thema, kennen jedes Detail.

Herr Block, Herr Riesewieck, ihr Film heißt „The Cleaners“. Was wird da von wem gesäubert?
Hans Block: Es ist ein Film über eine gigantische Schattenindustrie auf den Philippinen, wo Tausende junge Filipinos täglich damit beschäftigt sind, acht bis zehn Stunden auf dem Bildschirm das herauszufiltern, was wir nicht sehen sollen in sozialen Medien wie Facebook, Instagram, YouTube oder Twitter. Diese Dienste werden von den großen Konzernen ausgelagert, meist in Entwicklungsländer.Wir stellen die Frage: Was ist eigentlich erlaubt in dieser frei wirkenden Welt, die das Internet ist? Und wer ist dafür verantwortlich, diese Entscheidungen zu treffen? Der Film stellt diese Content-Moderatoren in den Mittelpunkt.

Warum findet diese Arbeit auf den Philippinen statt?
Moritz Riesewieck: Ein nahe liegender Grund ist, dass es ein Billiglohnland ist. Die Outsourcing-Unternehmen werben dort damit, dass ihre Angestellten angeblich unsere westlichen Werte teilen und verstehen können als Folge von jahrhundertelanger Kolonisation. Diese Unternehmen lassen uns glauben, dass sie deshalb besonders gut einschätzen können, was wir Westler mögen und was nicht.

Die Regisseure von "The Cleaners" im Interview: Hans Block (links) und Moritz Riesewieck.bild: Rüdiger Schmitz-Normann/t-online.de

Und das funktioniert?
Riesewieck: Nein, zwar sind 90 Prozent der Filipinos Christen, aber nicht so, wie wir sie aus dem Kommunionsunterreicht kennen, sondern zum Teil sehr orthodox. Junge Menschen laufen dort mit Bibel-Botschaften auf ihren T-Shirts herum. Jeder dritte Post ist ein Psalm. Viele haben die Idee, sich für die Sünder der Welt zu opfern, eine Art von Narrativ, um diesen Job zu machen. Das ist für die kein 9-bis-5-Job, sondern ein quasi göttlicher Auftrag. Das ist gefährlich, wenn Menschen mit einem solchen religiösen Auftrag einen solchen Job machen, wo es viele Grauzonen gibt und es darauf ankommt, genau hinzuschauen.

Wie viele "Cleaners" gibt es – auf den Philippinen und weltweit? 
Riesewieck: Leider ist die Zahl nicht belastbar, da die Unternehmen sie nicht veröffentlichen. Deswegen kann man sie nur schätzen. Experten gehen von über 10.000 aus, die allein auf den Philippinen diese Arbeit leisten. Manila ist mit Abstand der größte Standort für Content-Moderation weltweit. Da gelangt der Großteil der Inhalte, die verdächtig sind, zu diesen Moderatoren. Erst in jüngster Zeit beginnt Facebook andere Standorte zu eröffnen, in Berlin-Spandau mit Arvato oder der neueste in Essen.

Was bekommen die Cleaner zu sehen? Alles oder nur das, worüber sich Nutzer beschwert haben?
Block: Es gibt zwei Kanäle: Zum einen haben die Sozialen Netzwerke eine Art „algorithmischen Vorfilter“, der kann zum Beispiel Umrisse, zum Beispiel von Sexualorganen identifizieren, oder auch Blut oder nackte Haut. Die Unternehmen sind da sehr intransparent, was dieser Algorithmus alles vorfiltert, das konnten auch wir nicht auflösen. Wir wissen, dass solche Filter deshalb existieren, weil sie nicht wollen, dass so etwas passiert wie 2013, als ein Video eines Kindesmissbrauchs auf Facebook gelandet ist innerhalb kürzester Zeit 16.000 Mal geteilt wurde. Natürlich wollen sie dies jetzt verhindern, deshalb diese Vorfilter.

Dann gibt es die Methode des „Flaggens“. Wir Nutzer können damit Inhalte melden und dann werden die auch bearbeitet. Beide Kanäle führen auf die Bildschirme der Content-Moderatoren, vorwiegend in Manila. Da sitzt dann jeder in seiner Arbeitsbox und moderiert acht bis zehn Stunden Tausende von Bildern.

Sind die Cleaner auf bestimmte Inhalte spezialisiert?
Block: Im Prinzip kann jeder Moderator alles bekommen, vom Terrorvideo bis zum Kindesmissbrauch bis zur Blume, die fälschlicherweise geflaggt wurde. Die Unternehmen haben auch begonnen, Teams einzurichten, zum Beispiel für Terror, wo Geflüchtete aus Syrien arbeiten, die arabisch sprechen. Theoretisch können die Content Moderators unklare Fälle weiterleiten. Sie haben aber oft Angst davor, das zu oft zu tun, weil ihnen dies als Unfähigkeit ausgelegt werden könnte. Wenn ich zu oft Sachen nicht selbst löse, sondern an andere weiterleite, dann sind diese Teams überlastet und sie können diese Arbeit nicht mehr machen.

Riesewieck: Deshalb haben uns viele Content-Moderatoren gesagt, dass sie aus ihrem Bauchgefühl entscheiden. Das ist besonders bedenklich, wenn es um politische Inhalte geht. Wenn nur drei Prozent aller Entscheidungen durch Vorarbeiter kontrolliert werden, also nur Stichproben genommen werden, dann bleibt vieles unentdeckt, was dort an Fehlentscheidungen getroffen wird.

Cleaner bei der Arbeit: Nur Sekunden bleiben für die Entscheidung "delete" oder "ignore". bild: gebrueder beetz filmproduktion

Haben wir genug Cleaner, um dieser enormen Mengen, die an Daten ins Internet hochgeladen werden Herr zu werden? Oder läuft viel zu viel an Ihnen vorbei?
Block: Interessant ist, das Facebook immer die Zahl der Arbeiter betont. Zuckerberg stockt auf 20.000 auf, die er jetzt beschäftigen möchte. Das ist sicherlich ein Weg, um der Misere zu entkommen, dass diese Cleaner im Sekundentakt entscheiden müssen, sonst schaffen sie den „score“ nicht, den sie zu erreichen haben an Inhalten pro Tag. Es löst aber nicht das Problem der Qualität, dass Fehlentscheidungen getroffen werden. Deswegen muss man viel mehr fragen, wer diese Leute sind, die moderieren. Braucht es da nicht viel besser ausgebildete Content Moderatoren, die nicht nur einen kulturpolitischen, religiösen Hintergrund haben?

Genauso muss man das Training hinterfragen. Heute werden die Moderatoren drei bis fünf Tage lang ausgebildet. Sie lernen in diesen Tagen hunderte Seiten von Richtlinien und Regeln, die sehr schwierig anzuwenden sind, was zu vielen Bauchentscheidungen führt. Bei einer Zeitung gibt es ja auch Editoren und Redakteure, die dafür verantwortlich sind, was publiziert wird und was nicht. Die haben jahrelang Journalistenschulen besucht, kennen den kulturspezifischen Kontext, haben einen Ethik-Codex, den sie anwenden können. All das müsste man für die digitale Welt auch einfordern.

Riesewieck: Die Richtlinien sind unter dem Aspekt entworfen worden, dass sie einen möglichst großen Teil der Nutzer zufrieden stellen. Da steckt eine Art „Mehrheitsdemokratie“ dahinter. Wer nicht gut genug geschützt wird, sind Minderheiten, weil sie keine Rolle für den Profit spielen. Damit wird ein Hauptziel der analogen Demokratie, nämlich Minderheiten zu schützen, außer Acht gelassen.

Content-Moderatoren müssen den kulturellen Zusammenhang sehen, in dem zum Beispiel eine Gewaltdarstellung erscheint.
Riesewieck: Genau das ist das Problem. Und der Grund warum es den Algorithmen nicht anvertraut wird. Und jedes Experiment, wie bei YouTube, im Fiasko endet. Die Content-Moderatoren sind oft erst 18, 19 Jahre alt, haben einen College-Abschluss und nie die Stadt verlassen. Sie wissen nicht Bescheid über kulturelle Hintergründe, wissen nicht, was Karikatur und was Ironie ist und was  Satire. Da fehlt das Wissen, womit da gespielt wird. Das kann man nicht zentralisieren in einem Billiglohn-Land. Da passieren keine bedauerlichen Einzelfehler, wie Zuckerberg und Konsorten es immer darstellen. Es ist dem Interesse, es möglichst profitabel zu halten, geschuldet, dass diese dauernd geschehen.

Wie läuft das Löschen konkret ab? Ich sitze in einer Bürobox. Was passiert dann?
Block: Es gibt eine Software, diese erhält über zwei Kanäle diese Bilder aus einer Art "Topf". Ich kann dann zwei Entscheidungen treffen: "delete" (löschen) oder "ignore" (ignorieren). Wenn ich etwas lösche, gibt es etwa zehn Unterkategorien, mit denen ich sagen kann, warum ich einen Inhalt lösche. Weil er zum Beispiel terroristisch ist, weil er Hassrede enthält, weil es ein Kindesmissbrauchs-Video ist oder Selbstverletzungen zeigt. Diese Kategorien werden auch genutzt, um den Algorithmus zu trainieren. Nur wenn das gering qualifizierte Arbeiter machen, wie wir in dem Film sehen, und die Fehler machen, dann führt das dazu, dass auch ein Algorithmus permanent Fehler macht. Dann gibt es eine Kooperation mit Strafbehörden für manche illegale Inhalte. Wir wissen das bei Kindesmissbrauch, da wird mit einer Organisation in den USA kooperiert. Die bekommen IP-Adressen und andere Informationen von Nutzern, die versucht haben, Kindesmissbrauchs-Videos hochzuladen, damit das ausgewertet und an die Polizei vor Ort weitergeleitet werden kann.

Ist das gut oder schlecht?
Block: Das ist gut. Doch damit begibt sich auch die Polizei in eine Abhängigkeit zu den privaten Unternehmen. Diese könnten irgendwann auch auftreten, und fordern, dass die Politik weniger regulieren soll, weil sie dem Staat schließlich auch unter die Arme greifen und Polizeiarbeit übernehmen. Die Content-Moderatoren, die solche Fälle weiterleiten, bekommen oft eine Rückmeldung, dass sie dazu beigetragen haben, einen lange gesuchten Straftäter zu fassen. Eine Moderatorin hat uns erzählt, dass sie sich wie eine Polizistin des Internets fühlt.

Megacity Manila: Hier arbeiten die "Cleaner" und prüfen Inhalte aus Europa und den USA.bild: gebrueder beetz filmproduktion

Kann ein Cleaner selbst entscheiden, was gelöscht wird und was nicht?
Ja. Und es werden nur Stichproben gemacht als Kontrolle.

Damit hat er ziemlich viel Macht.
Ja, das ist das Problem.

Im Film kommt eine Cleanerin zu Wort, die erst durch ihre Arbeit sexuell aufgeklärt wurde…
Riesewieck: Die ist ein typisches Beispiel für junge Filipinos. Es ist eine sehr christliche Gesellschaft. Viele dieser Billiglöhner haben Familien, die auf dem Land wohnen, im Umkreis des Molochs Manila. Sie sind christlich-orthodox aufgewachsen. Der Arbeitsvertrag schließt aus, dass sie über die Inhalte, die sie da zu sehen bekommen, mit ihren Familien sprechen dürfen. Es liegt aber auch an den Werten dieser Familien, dass sie das nicht teilen. Die Arbeiter machen mit sich selbst aus, was sie dort zu sehen bekommen und geraten in moralische Konflikte. Für viele der katholischen Content Moderatoren ist es eine Sünde, sich mit diesen Inhalten zu umgeben. In einem Beispiel, das nicht im Film auftaucht, wollte jemand Priester werden und konnte das nicht mehr, nachdem er diesen Job gemacht hatte und das Gefühl hatte, er hatte zu viele Sünden auf sich geladen. Von diesen Beispielen gibt es sehr viele.

Die Büros im Film, sind die echt? Wurde an Originalschauplätzen gedreht?
Block: Wir hatten das Glück, in einer ungenutzten Original-Büroetage drehen zu können, mit den typischen Arbeitskabinen und der authentischen Moderationsoberfläche. Dort haben uns die Cleaners ihre Arbeit gezeigt. So konnten wir das Problem umgehen, dass wir es mit einer extrem verschlossenen Industrie zu tun haben. Die Unternehmen tun alles, damit diese Arbeit unbekannt bleibt. Da gibt es private Polizei, die Gebäude abschirmen, die Mitarbeiter kontrollieren, dass diese keine Informationen nach außen tragen, da gibt es sehr großen Druck. Bei unserer Recherche sind Teile unseres Teams abfotografiert und dies Bilder an das ganze Unternehmen gesendet wurden, mit der Warnung "Wer mit diesen Leuten spricht, verliert sofort den Job". Wir zeigen deshalb ohne Anonymisierung nur Arbeiter, die den Job vor kurzem verlassen haben.

Die Lösch-Richtlinien der Konzerne. Haben Sie diese jemals gesehen?
Block: Ja, wir haben sie einsehen können, durch einen Leak. Offiziell haben Facebook und Co. dagegen seit ihrem Bestehen alles dafür getan, die Richtlinien undurchsichtig zu halten.

Megacity Manila: Hier arbeiten die Content Moderatoren aus dem Film "The Cleaners".bild: gebrueder beetz filmproduktion

Was steht da drin?
Riesewieck: Es sind Hunderte von Seiten mit etlichen Listen, etwa von Terrororganisationen, oder politischen Symbolen, die unerwünscht sind. Diese Richtlinien werden dauernd angepasst und erweitert. Grundsätzlich soll vor allem unterschieden werden zwischen gewaltverherrlichenden Inhalten und Inhalten mit Nachrichtenwert, zwischen Kunst und Voyeurismus, Propaganda, Satire - da bleiben naturgemäß viele Grauzonen und Spielräume. Zumal die Lösch-Entscheidungen meist in wenigen Sekunden zu fällen sind.

Lassen Sie uns über die Grauzonen reden. Wann überwiegt das Interesse an Löschung, wann die Meinungsfreiheit?
Block: Da gibt es keine einheitliche Linie. Facebook und Co. eilen der Kritik hinterher, die auf sie einprasselt und versuchen den Eindruck aufrecht zu erhalten, alles unter Kontrolle zu haben. Im Prinzip nutzen ihnen extreme, affektgeladene Posts sogar, weil sie viel Aufmerksamkeit erregen und damit zu Geld gemacht werden können.

Können Sie das an einem Beispiel erläutern?
Riesewieck: Dass sich blinde Wut und Hass so ausbreiten, ist kein Zeichen von Missbrauch der Plattformen, wie uns Facebook und Co. weismachen wollen. Es ist Teil ihres Business-Modells, das darauf ausgerichtet ist, möglichst viel Traffic zu erzielen. Wir als Gesellschaften müssen die Frage beantworten, ob für uns Hetze gegen Minderheiten auch noch als erlaubte Meinungsäußerung zählt oder nicht. Das etwa sehen Menschen in den USA oft komplett anders als Menschen in Europa. Mit Sabo, einem rechtsextremen Aktivisten, zeigen wir im Film, wohin es führen kann, wenn wir im Netz "jedem Menschen eine Stimme verleihen", wie Zuckerberg es Facebook verordnet hat.

Brauchen wir überhaupt eine Filterung?
Block: Ja, aber eine transparente und eine, die wir mitbestimmen, die Mitglieder des Netzwerks. Wir müssen etwa auch erfahren, welche Inhalte blockiert werden, weil Regierungen es von Facebook und Co. verlangen. Bisher erfahren wir nicht, was auf Wunsch von Erdogan und Co. unsichtbar gemacht wird. Der Kuschelkurs zwischen den sozialen Netzwerken und autokratischen Regierungen dient nur dem Zweck, die Marktmacht um jeden Preis zu erweitern. Diese heimlichen Deals müssen ein Ende haben!

Schattenwirtschaft: Die Löschtrupps des Internets werden in der Regel gut abgeschirmt. bild: gebrueder beetz filmproduktion

Wie sind Sie an die Interviewpartner für den Film gekommen?
Riesewieck: Viele der Content-Moderatoren waren stolz auf ihre Arbeit, wollten, dass die Welt erfährt, was für einen elementaren Dienst sie uns allen erweisen. Viele sagten: Ihr könnt Euch gar nicht vorstellen, wie Eure Newsfeeds aussähen, wenn wir auch nur eine Stunde die Arbeit niederlegten. Das Problem war: Die Arbeiter und Arbeiterinnen dürfen laut Vertrag mit niemandem darüber sprechen, was sie dort tun. Wir konnten deshalb nur Menschen offen sichtbar filmen, die den Job mittlerweile verlassen haben.

Wie haben Sie Zugang zu den Entscheidungsträgern bekommen, die im Film zu Wort kommen?
Riesewieck: Es gibt einen Kreis von 20 bis 30 ehemaligen Entscheidungsträgern von Facebook, Twitter, YouTube, die bereuen, dass sie mitgeholfen haben, die Geister zu rufen, die wir jetzt nicht mehr loswerden. Sie sehen die große Verantwortung, die ihnen und ihren ehemaligen Arbeitgebern zufällt, dass die sozialen Netzwerke den Hass gegen Minderheiten schüren, Ausgrenzung fördern, Gesellschaften spalten und Demokratien gefährden. Sie wollen dem „Code of Silence“, der im Silicon Valley herrscht, nicht mehr Folge leisten und sprechen in unserem Film überraschend deutlich aus, was sie denken.

Sie beschäftigen sich jetzt seit vielen Jahren mit dem Thema. Wie hat das bei Ihnen den Blick auf die Welt verändert?
Riesewieck: Seitdem haben sich ein paar globale Konzerne das Internet untereinander aufgeteilt. Alles wird auf diesen Plattformen eingebettet. Was nicht vorkommt, ist für Milliarden Menschen nicht existent. Umso wichtiger ist es, genau darauf zu achten, was dort vorkommen darf.

Block: Vielleicht ein Beispiel: Vor der Recherche hätten wir gesagt: Leichen in einem Video? Nein, solche Videos brauchen nun wirklich nicht zu sehen sein auf sozialen Netzwerken. Dabei sind solche Videos oft Beweismaterial für zivile Opfer des Krieges, etwa von Luftschlägen der Amerikaner oder Russen. Während journalistische Berichterstattung oft kaum möglich ist in solchen Gebieten, können Videos von Bürgerjournalisten für Aufklärung sorgen - wenn sie nicht sofort gelöscht werden. Entscheidungen darüber, was sichtbar sein sollte auf sozialen Netzwerken, sind deshalb meist extrem knifflig.

"The Cleaners", Regie: Hans Block und Moritz Riesewieck, Dokumentation, Deutschland, 88 Min, Start: 17. Mai 2018.

Dieser Artikel erschien zuerst auf t-online.de