Themen aus der Nachhaltigen Digitalisierung
Forschung zur Nachhaltigen Digitalisierung (Zurück zur Startseite)
Mit der Entstehung Sozialer Netzwerke und der Möglichkeit für Nutzerinnen, eigene Inhalte zu teilen, entstand auch ein neues Berufsfeld: das der Content-Moderatorinnen. Die Aufgabe von Content-Moderatorinnen ist es, zu überprüfen, ob Inhalte, die in Sozialen Netzwerken hochgeladen werden, mit den Nutzungsrichtlinien und geltenden Gesetzen vereinbar sind. Damit sichern sie Sozialen Netzwerken die Werbefreundlichkeit und Markenidentität und bewahren Nutzerinnen davor, unangebrachten und verstörenden Inhalten ausgesetzt zu werden. Für diese unerlässliche Arbeit zahlen Content-Moderator*innen jedoch mitunter einen hohen Preis (Stackpole, 2022).
Soziale Medien setzten Content-Moderatorinnen ein, um zu überprüfen, ob Inhalte, die von Nutzerinnen erstellt und hochgeladen werden, mit den Nutzungsrichtlinien der Plattform und geltenden Gesetzen kompatibel sind. Dabei sind Content-Moderatorinnen regelmäßig Inhalten wie Hatespeech, Tierquälerei, (sexueller) Gewalt, extremistischer Gewalt, Pornografie und vieler weiterer, verstörender Inhalte ausgesetzt (Newton, 2019 und Steiger et. al., 2021). Die ständige Konfrontation mit Inhalten dieser Art birgt ein hohes Risiko, die mentale Gesundheit der Content-Moderatorinnen zu beeinträchtigen und führt in vielen Fällen zu Depressionen, Angststörungen und posttraumatischen Belastungsstörungen (Steiger et. al., 2021 und Booth, 2024). Die bereits hohe Belastung wird weiterhin verstärkt durch hohen Druck, der auf Content-Moderatorinnen ausgeübt wird, eine hohe Treffsicherheit zu erreichen und dabei innerhalb von wenigen Sekunden entscheiden zu müssen, ob ein Inhalt den Richtlinien der Plattform entspricht oder nicht (Freihse & Sieker, 2023 und J. Taylor, 2018). Häufig stehen den Content-Moderatorinnen täglich nur wenige Minuten Auszeit zur Verfügung, welche verwendet werden können, wenn sie von der emotionalen Belastung akut überwältigt werden (Newton, 2019 und Perrigo, 2022). Schlechte Bezahlung, fehlende Krankheitstage, veraltete Software und ein in vielen Fällen feindseliges Arbeitsumfeld verschärfen die Situation weiterhin (Newton, 2019 und Stackpole, 2022).
Während in den Anfängen der Sozialen Medien zumindest einige der Content-Moderatorinnen direkt bei den Unternehmen angestellt waren, hat sich der Trend in den letzten Jahren immer weiter in Richtung Outsourcing verlagert (Stackpole, 2022). Die Auslagerung der Content-Moderation erfolgt häufig auf Crowdworking-Plattformen, auf denen Click-Workerinnen unter schlechten Arbeitsbedingungen einzelne Aufgaben übernehmen, oder durch Drittanbieter, häufig in Regionen und Länder mit schlechteren Arbeitsschutzrechten und niedrigeren Lohnniveaus (Newton 2019, Stackpole, 2022 und Booth, 2024). Weiterhin problematisch am Outsourcing der Content-Moderation ist, dass wenn Missstände an die Öffentlichkeit gelangen und mediale Aufmerksamkeit erfahren, Soziale Netzwerke sich hinter den Drittanbieter-Firmen verstecken und die eigene Verantwortung mit Verweis auf die Outsourcing-Firmen dementieren können, anstatt Verantwortung zu übernehmen, Missstände aufzuarbeiten und die Arbeitsbedingungen zu verbessern (Stackpole, 2022, Perrigo, 2022 und Perrigo, 2023).
Viele Content-Moderatorinnen werden während des Einstellungsprozesses nicht ausreichend darüber aufgeklärt, welche Aufgaben ihre neue Rolle beinhalten wird und mit welchen Risiken dies verbunden ist. Angehenden Content-Moderatorinnen werden unter anderem Aufgaben als Marketing-Analysten versprochen (Newton, 2019) und die Hoffnung ausgenutzt, ein Job als Content-Moderator*in könnte der Start einer Karriere im IT-Bereich oder dem Social-Media-Sektor sein (Stackpole, 2022 und Siddiqui, 2024). Auch Berichte von falschen Versprechungen von Krankenversicherungen, geregelten Arbeitszeiten, guter Work-Life-Balance und Leistungs-Boni in Stellenausschreibungen und dem Einstellungsprozess sind keine Seltenheit (Newton, 2019 und Perrigo, 2022).
Um mit den wachsenden Datenmengen in Sozialen Netzwerken zurechtzukommen und menschliche Content-Moderator*innen davor zu bewahren, schädlichen Inhalten ausgesetzt zu sein, wird häufig Automatisierung und der Einsatz künstlicher Intelligenzen als Lösung in Betracht gezogen (Darbinyan, 2022).
Einerseits werden bereits heute intelligente Systeme, beispielsweise für die automatisierte Verpixelung von Gesichtern, in der Content-Moderation eingesetzt, um die psychischen Folgen für menschliche Moderatorinnen zu reduzieren (Newton, 2019). Auch einfachere Aufgaben, zum Beispiel das Herausfiltern von Spam, Copyright-Verletzungen, oder das Löschen von Inhalten, welche bereits in Datenbanken identifiziert wurden, können künstliche Intelligenzen bereits eigenständig übernehmen (Stackpole, 2022 und New America, n.d.). Andererseits können automatisierte Anwendungen trotz großer Investitionen in den Einsatz künstlicher Intelligenzen in der Content-Moderation menschliche Moderatorinnen bisher nicht flächendeckend ersetzen (Stackpole, 2022). Vermeintliche Erfolgsgeschichten von automatisierten Systemen, die bereits einen Großteil der Hatespeech automatisch erkennen und löschen, mögen beeindruckend klingen, sind häufig jedoch irreführend formuliert. Beispielsweise wird der Eindruck vermittelt, diese Systeme könnten Hatespeech erfolgreich als solche erkennen, anstatt lediglich Kopien von bereits durch menschliche Moderator*innen identifizierte Inhalte zu löschen (Gillespie, 2020).