Durchführung & Ergebnisse
Durchführung & Ergebnisse
6. Durchführung des Experiments
Nachdem die Mailvarianten entwickelt und den jeweiligen Zielgruppen zugeordnet wurden, begann der praktische Teil des Experiments: der Versand und die Auswertung der tatsächlichen Reaktionen auf die Einladungen.
Um sicherzustellen, dass alle Zielgruppen unter möglichst identischen Bedingungen erreicht wurden, verlief der Versand der Mails sorgfältig standardisiert.
Gleiche Versandbedingungen für alle Gruppen
Alle Mails – Kontroll- und Manipulationsvarianten – wurden:
- am selben Tag
- zur exakt gleichen Uhrzeit
- genau drei Wochen vor der Veranstaltung verschickt.
Damit konnte ausgeschlossen werden, dass Unterschiede in Öffnungs- oder Registrierungsraten auf Versandzeitpunkt, Tagesrhythmen oder zeitliche Verzerrungseffekte zurückzuführen waren.
Eindeutige Zuordnung durch individuelle Registrierungslinks
Damit wir später nachvollziehen konnten, welche Mailvariante zu einer Anmeldung geführt hat, erhielt jede Mail einen individuellen Registrierungslink.
Das bedeutete:
Für jede der drei Zielgruppen gab es zwei verschiedene Links (→ Kontrollmail & manipulierte Mail).
Insgesamt wurden sechs Registrierungslinks verwendet:
- Studierende: 2 Links
- Wissenschaftliche Mitarbeitende: 2 Links
- Verwaltungsmitarbeitende: 2 Links
Über diese individuellen Links konnten die Registrierungen eindeutig zugeordnet werden: Wir wussten genau, ob eine Anmeldung aus einer Kontrollmail oder einer manipulierteen Mail stammte. Dadurch war eine präzise Auswertung der Wirkung der Mailinhalte möglich.
Methodik
Für die Analyse des Experiments wurde eine logistische Regression eingesetzt. Diese Methode ist besonders geeignet, wenn das Ergebnis, das man untersuchen möchte, nur zwei mögliche Ausprägungen hat, in unserem Fall „ja“ oder „nein“.
7. Ergebnisse
Bevor wir uns die Ergebnisse getrennt nach Zielgruppen anschauen, lohnt sich ein Blick auf das Gesamtbild:
An der TU Hamburg gibt es über 8.000 Empfänger*innen der Einladung: Studierende, wissenschaftliche Mitarbeitende und Verwaltungsmitarbeitende. Trotz dieser großen Zahl bleibt die Teilnahme an Diversitätsveranstaltungen insgesamt sehr gering.
Auch in diesem Experiment zeigte sich das deutlich, dass die generellen Anmeldungen keinen Aufschwung erlebten, insgesamt gab es lediglich 36 Registrierungen, was den Zahlen in der Vergangenheit entspricht. Diese Zahlen zeigen, wie groß die Herausforderung bleibt, selbst dann, wenn wir die Formulierung der Einladung anpassen.
Dennoch ist es spannend zu analysieren, ob bestimmte Zielgruppen stärker auf bestimmte Kommunikationsstile reagieren. Und tatsächlich: Eine der drei Gruppen verhielt sich deutlich anders, je nachdem welche Mail sie erhalten hatte.
Im Folgenden betrachten wir die Ergebnisse aufgeschlüsselt in:
- einer einfachen, leicht verständlichen Erklärung
- einem Exkurs, der die statistischen Kennwerte der logistischen Regression erläutert und interpretiert
Studierende
Bei den Studierenden zeigte die manipulierte Mail eine klare und signifikante Wirkung:
- Registrierungen: 11 Manipulation vs. 1 Kontrolle
- Teilnahme: 4 Manipulation vs. 0 Kontrolle
Nur hier funktionierte die zielgruppenspezifische Ansprache eindeutig besser. Besonders die aktivierende, persönliche und alltagsnahe Formulierung schien die Studierenden eher zu erreichen.
Schauen wir uns den prozentualen Anteil zu der Gesamtanzahl der beiden Gruppen an, dann sieht es wie folgt aus:
- Registrierungsquote: 0,30 % Manipulation vs. 0,03 % Kontrolle
- Teilnahmequote: 0,11 % Manipulation vs. 0 % Kontrolle
Die beiden Grafiken "Registrierungswahrscheinlichkeit" und "Teilnahmewahrscheinlichkeit" vergleichen die Wahrscheinlichkeit, dass Studierende sich registrieren bzw. teilnehmen, je nachdem, ob sie die Kontrollmail oder die manipulierte Mail erhielten. Hier zeigt sich: Nur die personalisierte, aktivierende Mail erzeugt nennenswerte Registrierungen und Teilnahme; die Kontrollmail wirkt praktisch gar nicht.
Wissenschaftliche Mitarbeitende (WiMi)
Bei den WiMis zeigte die manipulierte Mail keinen Vorteil:
- Registrierungen: 1 Manipulation vs. 6 Kontrolle
- Teilnahme: 1 Manipulation vs. 5 Kontrolle
Die klassische, sachliche Kontrollmail funktionierte hier besser. Das deutet darauf hin, dass WiMis stärker auf neutrale, institutionell wirkende Kommunikation reagieren.
Schauen wir uns den prozentualen Anteil zu der Gesamtanzahl der beiden Gruppen an, dann sieht es wie folgt aus:
- Registrierungsquote: 0,25 % Manipulation vs. 1,50 % Kontrolle
- Teilnahmequote: 0,25 % Manipulation vs. 1,25 % Kontrolle
Die beiden Grafiken "Registrierungswahrscheinlichkeit" und "Teilnahmewahrscheinlichkeit" vergleichen die Wahrscheinlichkeit, dass wissenschaftliche Mitarbeitende sich registrieren bzw. teilnehmen, je nachdem, ob sie die Kontrollmail oder die manipulierte Mail erhielten. Darin sehen wir, dass wissenschaftliche Mitarbeitende sich viel häufiger registriert oder teilgenommen haben, wenn sie die klassische, sachliche Kontrollmail bekamen.
Verwaltungsmitarbeitende
In der Verwaltung unterscheiden sich die beiden Mailvarianten kaum:
- Registrierungen: 9 Manipulation vs. 8 Kontrolle
- Teilnahme: 4 Manipulation vs. 6 Kontrolle
Keine der Varianten wirkte klar besser. Beide Kommunikationsstile waren in dieser Zielgruppe ähnlich wirksam.
Schauen wir uns den prozentualen Anteil zu der Gesamtanzahl der beiden Gruppen an, dann sieht es wie folgt aus:
- Registrierungsquote: 2,96 % Manipulation vs. 2,63 % Kontrolle
- Teilnahmequote: 1,32 % Manipulation vs. 1,97 % Kontrolle
Die beiden Grafiken "Registrierungswahrscheinlichkeit" und "Teilnahmewahrscheinlichkeit" vergleichen die Wahrscheinlichkeit, dass Verwaltungsmitarbeitende sich registrieren bzw. teilnehmen, je nachdem, ob sie die Kontrollmail oder die manipulierte Mail bekommen haben. Hier sehen wir: Es funktionieren beide Kommunikationsstile ähnlich gut. Kleine Unterschiede zugunsten der manipulierten Mail (Registrierung) bzw. der Kontrollmail (Teilnahme) sind vorhanden, aber insgesamt zeigen sich keine klaren Präferenzen.
Exkurs: Analyse der statistischen Ergebnisse
Wie lese ich die statistischen Werte?
B (Regressionskoeffizient)
Zeigt an, ob die Mailbedingung die Wahrscheinlichkeit von Registrierung/Teilnahme erhöht oder senkt.
Positiver B: Wahrscheinlichkeit steigt
Negativer B: Wahrscheinlichkeit sinkt
Wald-Test
Prüft, ob der Effekt „echt“ oder zufällig ist. Je höher der Wald-Wert, desto stärker spricht er für einen echten Effekt.
p-Wert / Sig.
zeigt an, ob der Effekt statistisch signifikant ist.
p < .05 = statistisch signifikant
-> der Effekt ist sehr wahrscheinlich nicht zufällig
p > .05 = nicht signifikant
-> wir können keinen verlässlichen Effekt nachweisen
Exp(B) – Odds Ratio
Der Wert Exp(B) zeigt, wie stark sich die Wahrscheinlichkeit verändert, wenn die Bedingung wechselt (Kontrolle → Manipulation).
Exp(B) > 1: Wahrscheinlichkeit steigt
Exp(B) < 1: Wahrscheinlichkeit sinkt
Ergebnisse nach Zielgruppe
1. Studierende
Registrierung – Studierende, die die manipulierte Mail erhielten, hatten eine signifikant höhere Wahrscheinlichkeit, sich zu registrieren – etwa das 11-Fache im Vergleich zur Kontrollgruppe (p = .022).
Teilnahme – Für die tatsächliche Teilnahme zeigte sich kein signifikanter Unterschied zwischen manipulierteer Mail und Kontrollmail (p = .982); der geschätzte Effekt war statistisch nicht belastbar.
2. Wissenschaftliche Mitarbeiter*innen
Registrierung – Kurzinterpretation (WiMi) - Die manipulierte Mail verringerte tendenziell die Wahrscheinlichkeit einer Registrierung im Vergleich zur Kontrollmail, aber dieser Unterschied war nicht signifikant (p = .095).
Teilnahme – Auch für die tatsächliche Teilnahme zeigte sich kein signifikanter Unterschied zwischen Manipulation und Kontrolle (p = .140); die Kontrollmail wirkte tendenziell etwas besser, aber ohne statistische Belastbarkeit.
3. Verwaltungsmitarbeitende
Registrierung – Die manipulierte Mail hatte keinen Einfluss auf die Wahrscheinlichkeit einer Registrierung; der Effekt war minimal und statistisch nicht signifikant (p = .806).
Teilnahme – Auch für die Teilnahme zeigte sich kein signifikanter Unterschied zwischen Manipulations- und Kontrollmail; die Wahrscheinlichkeit unterschied sich statistisch nicht belastbar (p = .527).
8. Interpretation der Ergebnisse
Experiment 1 zeigte, dass die sprachliche Gestaltung einer Einladung nur einen sehr kleinen Einfluss auf das Verhalten der TUHH-Angehörigen hatte und dass dieser Einfluss stark begrenzt blieb.
Zwar reagierten die Studierenden in unserem Experiment messbar positiver auf eine aktivierende, zielgruppenspezifische Ansprache, doch auch dort war der Effekt im Verhältnis zur Gesamtpopulation äußerst gering.
Bei den wissenschaftlichen Mitarbeitenden und den Verwaltungsmitarbeitenden zeigte die sprachliche Manipulation keinerlei nennenswerten Effekt. Die Unterschiede zwischen Kontroll- und Manipulationsmail waren minimal und statistisch nicht belastbar. Hier schien die sprachliche Gestaltung nahezu bedeutungslos für das Verhalten zu sein.
Was bedeutet das?
Kommunikation ist (zumindest in diesen Experimenten) kein Schlüsselhebel, um Teilnahmezahlen an DEI-Veranstaltungen spürbar zu erhöhen. Sprache kann einzelne Gruppen (wie Studierende) ein wenig stärker ansprechen, aber in unserem Experiment veränderte sie das Verhalten insgesamt kaum. Die Hauptbarrieren lagen vermutlich nicht in der Formulierung, sondern in viel grundlegenderen Faktoren:
- Zeitknappheit
- Anderes gelagerte Prioritäten
- Arbeitsbelastung
- fehlende Relevanzwahrnehmung
- wenig Austausch über DEI im Alltag
Eine Kommunikationsoptimierung kann diese strukturellen Bedingungen offenbar nicht kompensieren. DEI-Kommunikation benötigt darüber hinaus:
- institutionelle Unterstützung
- sichtbare Vorbilder
- Präsenz im universitären Alltag
- relevantere Anknüpfungspunkte
- mehr Dialog
Kommunikation ist wichtig, aber offenbar nicht der entscheidende Faktor.
Unser Fazit: Die Teilnahme an DEI-Veranstaltungen wird an der TUHH weniger durch Sprache beeinflusst, sondern vielmehr durch Rahmenbedingungen, Alltagslogiken und institutionelle Signale.
Weiter geht's
Wenn Sprache nur begrenzt wirkt, stellt sich die Frage: Wie wichtig ist der Kanal der Kommunikation? Werden Menschen eventuell eher erreicht, wenn die Botschaft auf einem anderen Weg zu ihnen gelangt? Im zweiten Teil der Untersuchung richten wir den Blick auf die Frage, wie effektiv verschiedene Kommunikationskanäle der TUHH tatsächlich sind - weiter geht`s mit Experiment 2.
< Zurück > Weiter zu Experiment 2