2024 Abgeschlossen ✓

Das ehrlichste Experiment:
Alle Modelle schlechter als statisch.

Ausgangshypothese
KI-berechnete individuelle Spendenvorschläge schlagen eine statische Empfehlung (Durchschnitt der letzten Spenden). Oder?
Das Ergebnis
Alle 4 Modelle schlechter als statisch.
Nicht eins. Nicht zwei. Alle vier getesteten KI-Modelle für personalisierte Spendenvorschläge lagen unter dem einfachen statischen Betrag.
Was wir versucht haben
M1
Response-maximierend — Nur Response-Wahrscheinlichkeit als Signal. Ergebnis: schlechter als statisch.
M2
DLV-gewichtet — Response × prognostizierter Wert. Ergebnis: schlechter als statisch.
M3
Hybrid — Kombination mehrerer Signale (DLV, Engagement Score, Recency). Ergebnis: schlechter als statisch.
M4
Historischer Durchschnitt + Engagement-Adjustment — Das naheliegendste Modell. Ergebnis: schlechter als statisch.
Warum es nicht funktioniert hat
Fehler 01
Datenbasis zu dünn
Zu wenig historische Mailing-Wellen mit vollständigem Response-Tracking. Die Modelle hatten nicht genug echte Feedback-Loops um zu lernen welcher Betrag für welchen Profil-Typ funktioniert.
Fehler 02
Zahlungswege-Mapping inkonsistent
Die Daten enthielten uneinheitliche Kanal-Zuordnungen. Manche Spenden waren falsch dem falschen Kanal zugeordnet. Die Modelle lernten auf falschen Annahmen — und produzierten systematisch falsche Empfehlungen.
Was wir gelernt haben
01

Datenqualität vor Modell-Komplexität

Ein einfaches Modell auf sauberen Daten schlägt ein komplexes Modell auf schlechten Daten — jedes Mal. Das ist das wichtigste Learning aus diesem Experiment.

02

Manchmal ist die einfache Lösung die beste

Statischer Durchschnittsbetrag hat in diesem Fall alle KI-Modelle geschlagen. Das ist kein Argument gegen KI — es ist ein Argument für die richtige Vorbereitung.

03

Zuerst Daten aufräumen, dann Modelle trainieren

Das Zahlungswege-Mapping hätte vor dem Experiment geprüft werden müssen. Das ist jetzt Standard in jedem neuen Projekt: Daten-Audit vor Modell-Aufbau.

04

Fehlschläge sind genauso wertvoll wie Erfolge

Dieses Experiment hat uns mehr über Datenqualität gelehrt als alle erfolgreichen Projekte zusammen. Deshalb zeigen wir es — ohne Beschönigung.

Das Fazit

"Dieses Experiment hat uns mehr gelehrt als viele Erfolge.
Wir zeigen es trotzdem."

Wer nur Erfolge zeigt, zeigt nicht die Wahrheit. Die Wahrheit ist: KI funktioniert nicht immer. Manchmal braucht es bessere Daten. Manchmal ist die einfache Lösung die richtige. Das wissen wir jetzt — weil wir es getestet haben.

Dieses Experiment hat uns weitergebracht. Welches Problem willst du als nächstes lösen?

Gespräch buchen → Alle Experimente