Okay, ich oute mich: Von der ganzen Testerei halte ich nicht viel.
Die Tests bringen doch keinen Fortschritt, sondern dienen nur zur Absicherung bekannter Standpunkte. Plakativ gesprochen: Während Firma M in aufwändigen A/B-Tests die Features von Windows Phone 6 gegeneinander testet, erfindet Firma A parallel zu gleicher Zeit das iPhone – und dies vermutlich ganz ohne Testing mit externen Usern.
A/B-Testing schafft nur Frieden im Wettstreit unterschiedlicher Meinungen, aber selten Innovation. André Morys hat es in seinem Beitrag bereits angedeutet.
Und noch schöner finde ich am A/B-Testing, dass derselbe Test bei mehrfacher Durchführung zu verschiedenen Zeitpunkten völlig konträre Ergebnisse liefern kann. Ich finde lustig, wie in Case Studies mit inbrünstiger Überzeugung mit Aussagen geworben wird wie “21,3% Uplift”. Da denke ich: “Macht den Test in drei Wochen doch noch einmal und staunt, welches Ergebnis rauskommt.”