@Kevin Wölfer: Echte Innovation erfordert üblicherweise einen gravierenden Umbau einer Website / eines Shops. Der wahre A/B-Test bei einem solchen Szenario wäre, dass man den radikal umgebauten Shop gegen eine (verbesserte) alte Version antreten ließe. Doch wer kann und will sich diesen Aufwand schon leisten?
Also werden immer nur geringfügige inkrementelle Veränderungen gegeneinander getestet („z.B. Farbe und Position von Bedienelementen“). Das Denken kreist dann um die Fragestellung: „Was können wir jetzt noch so verändern, dass es testbar bleibt?“ Eine solche Denke versperrt aus meiner Sicht den Weg zur wirklichen, mutigen Innovation.
Je größer das Unternehmen, desto größer auch die Gefahr, dass man keine großen Schritte mehr wagt und dass sich eine Kultur des „Testen-von-Kleinigkeiten-bis-zum-Erbrechen“ entwickelt. In endlosen Meetings liefern sich die Protagonisten Zahlenschlachten mit Testergebnissen, statt sich über wahre Innovation Gedanken zu machen. Frage dazu: Sind die Onlineshops von Otto, Amazon, Neckermann und Co. in letzter Zeit durch besondere Innovationen aufgefallen? Wir können aber davon ausgehen, dass dort das gesamte Test-Instrumentarium intensiv genutzt wird.
Was sind die Alternativen zum A/B Testing? Aus meiner Sicht ist es erfolgversprechend, jeweils einen etwas mutigeren, radikaleren Innovationsschritt zu wagen und ihn anhand von Prototypen zu evaluieren. Ein heuristische Evaluation mit Testusern in überschaubarer Zahl kann schon gute Ergebnisse liefern. A/B Testing kommt aus meiner Sicht später allenfalls für den Feinschliff von Details in Betracht.
Vielleicht könnte ich mein Fazit so formulieren: Vergiss A/B Tests, wenn Du in der Innovationsphase steckst. Das ist mehr etwas für das Ende des Website-Lebenszyklus. Dann hält es Dich vielleicht davon ab, rechtzeitig den nächsten mutigen Schritt nach vorne zu tun.