Shopify hat jetzt eigene A/B-Tests: Was sie können und wo ein Testing-Tool weiter nötig ist

Seit der Summer Edition kommt die Frage in fast jedem Erstgespräch zum Thema Conversion: „Shopify kann doch jetzt selbst A/B-Tests. Brauchen wir das Testing-Tool dann überhaupt noch?“ Die kurze Antwort hängt davon ab, was Du testen willst. Für einen Theme-Wechsel oder eine neue Checkout-Konfiguration reicht das Bordmittel. Für die Frage, ob ein Bundle-Block auf der Produktseite mehr verkauft als drei Preisstufen, reicht es nicht.

Shopify nennt die Funktion Rollouts. Sie liegt im Admin unter Märkte, gibt es seit dem 5. Juni 2026 und kostet nichts extra. Ich habe sie für diesen Beitrag anhand der Shopify-Hilfe durchgearbeitet und gegen Shoplift gestellt, das Tool, mit dem ich im Testing-Paket arbeite. Am Ende bekommst Du drei Hypothesen aus einer Testreihe und für jede das Werkzeug, das sie braucht.

Eine Sache vorweg, weil sie für beide Werkzeuge gilt. Ein Test braucht Traffic. Unter rund 20.000 Besuchern im Monat dauert ein einzelner Test so lange, dass Du in der Zeit besser die 15 Hebel ohne Test abarbeitest. Dazu unten mehr.

1Was Shopify Rollouts seit Juni 2026 können

Ein Rollout ist bei Shopify ein Paket von Änderungen an Deinem Haupt-Theme, an Deiner Checkout- und Kundenkonto-Konfiguration oder an beidem, mit Startzeitpunkt und Endzeitpunkt. Davon gibt es zwei Arten. Ein Launch spielt die Änderung an alle oder an einen Teil der Besucher aus, zum Beispiel ein Aktions-Theme von Freitag bis Sonntag, das danach automatisch zurückgestellt wird. Ein Experiment teilt die Besucher in Kontrolle und Variante und vergleicht beide. Launches gibt es ab dem Basic-Tarif, Experimente ab Grow (Shopify-Hilfe).

Das Prinzip ist eigentlich einfach. Shopify legt automatisch eine Kopie Deines veröffentlichten Themes oder Deiner Checkout-Konfiguration an. Diese Kopie bearbeitest Du im Theme-Editor wie gewohnt, während das Live-Theme unberührt bleibt. Alternativ tauschst Du das Theme komplett aus, etwa Dawn gegen Horizon. Pro Rollout ist eine Theme-Änderung und eine Checkout-Änderung erlaubt. Beim Austausch des Themes kannst Du zusätzlich Übersetzungen über eine kompatible App mitgeben, damit ein Test pro Markt läuft.

Wie viele Besucher die Variante sehen, stellst Du über die Reichweite ein, dazu wählst Du die Märkte. Ein Besucher landet pro Ressource immer nur in einem Rollout und bleibt dort. Mehrere Experimente auf demselben Theme sind schon möglich, Shopify verteilt den Traffic dann anteilig. Am Ende beendest Du das Experiment und entscheidest: Änderung dauerhaft übernehmen oder zurückrollen. Nach dem Übernehmen gibt es kein Zurück mehr, das steht so in der Hilfe.

Für die Auswertung bekommst Du bei einem Theme-Experiment vier Kennzahlen pro Variante: Conversion Rate im Zeitverlauf, Absprungrate, Warenkorb-Rate und Checkout-Rate. Bei einem Checkout-Experiment gibt es eine einzige, die Checkout-Conversion-Rate. Bei Launches kommen Umsatz, Bestellungen und durchschnittlicher Bestellwert dazu, bei Experimenten nicht (Rollout-Analytics).

Ein Punkt spricht klar für das Bordmittel. Den Checkout darf keine App anfassen, auch Shoplift nicht. Wenn Du wissen willst, ob Express-Buttons oben oder unten, Gastbestellung oder Konto-Pflicht besser konvertiert, dann ist Rollouts im Moment der einzige Weg, das mit echten Besuchern zu prüfen.

2Wo die Bordmittel aufhören

Rollouts testet Versionen, keine Stellen. Das ist der Kern des Unterschieds, und daraus ergeben sich fünf Grenzen, die Du kennen solltest, bevor Du Dein Testing-Tool kündigst.

Nur Theme-Editor, kein Liquid

In der Theme-Kopie kannst Du ja alles ändern, was der Theme-Editor hergibt: Einstellungen, Sections, Blöcke, Reihenfolgen, Farben. Was Du nicht kannst, sind Änderungen an Liquid-Templates. Ein neuer Cross-Sell-Block im Warenkorb, eine andere Logik für Bundles, ein Vertrauensbaustein, den Dein Theme nicht mitbringt, all das fällt raus. Vintage-Themes und Headless-Shops gehen gar nicht.

Ganzer Shop statt einer Seite

Du kannst in der Kopie auch nur eine Einstellung ändern, dann ist der Test technisch ein Elementtest. Aber der Test läuft über alle Seiten und die Auswertung zeigt die Conversion Rate des ganzen Shops. Ändert sich nur die Produktseite, verwässert der Traffic auf Startseite, Kollektionen und Blog das Ergebnis. Bei einem Tool testest Du ein Template und bewertest den Traffic, der das Template gesehen hat.

Keine Signifikanz

Die Auswertung zeigt Dir zwei Zahlen nebeneinander und sonst nichts. Ob 2,9 % gegen 2,6 % ein Ergebnis oder Rauschen ist, musst Du selbst rechnen. Bei 1.000 Besuchern pro Variante sind das 29 gegen 26 Bestellungen, und drei Bestellungen Unterschied entscheiden nichts. Ein kostenloser Signifikanzrechner reicht für die Rechnung, aber Du musst eben daran denken, und Du musst Besucher und Bestellungen pro Variante aus dem Bericht ziehen.

Keine Zielgruppen und kein Gerät

Die einzige Steuerung ist der Markt. Nach Gerät, Traffic-Quelle oder Neukunde gegen Bestandskunde kannst Du weder steuern noch auswerten. In den Shops, die ich betreue, kommen 70 bis 80 % der Besucher mobil. Ein Test, der am Handy gewinnt und am Desktop verliert, sieht in der Summe wie ein Unentschieden aus, und Du erfährst es nicht.

Kein Preis, kein Warenkorbwert

Preise und Versandkosten kann ein Rollout nicht ändern. Und bei Experimenten fehlt der Bestellwert in der Auswertung. Ein Upsell im Warenkorb, der die Conversion Rate nicht bewegt, aber jeden Warenkorb um 15 € erhöht, sieht in Rollouts wie ein Test ohne Ergebnis aus. Dabei ist er der Test, der sich am schnellsten rechnet.

3Was ein Testing-Tool anders macht

Ich arbeite mit Shoplift, weil es Varianten dort baut, wo ich sie ohnehin baue: im Theme. Andere Tools legen ein JavaScript über die Seite und tauschen Elemente nach dem Laden aus. Das flackert, kostet Ladezeit und bricht bei jedem Theme-Update. Shoplift dupliziert ein Template oder ein Theme in Shopify selbst, Du bearbeitest die Variante im normalen Theme-Editor, auch mit eigenem Liquid, und der Besucher bekommt von Anfang an die richtige Fassung ausgeliefert.

Daraus ergeben sich drei Testarten. Der Template-Test nimmt eine Produktseite, eine Kollektion, die Startseite oder eine Landingpage und vergleicht zwei Fassungen genau dieser Seite, ausgewertet nur mit dem Traffic, der sie gesehen hat. Der Theme-Test vergleicht zwei Themes und deckt Navigation, Warenkorb-Drawer, Ankündigungsleiste und Redesigns ab. Der URL-Split-Test schickt Besucher auf zwei verschiedene Adressen, etwa Startseite gegen Landingpage.

Die Auswertung rechnet mit, wann ein Ergebnis belastbar ist, und ordnet Bestellungen den Varianten eins zu eins zu. Du siehst Conversion Rate, Bestellwert und Umsatz pro Besucher, getrennt nach Gerät. Shoplift empfiehlt, einen Test erst zu beenden, wenn die Signifikanz erreicht ist, auch wenn eine Variante früh vorne liegt. Als Schwelle nannte mir Shoplift im Partnergespräch rund 93 % für Text- und Layouttests und 95 % oder mehr für Preistests.

Preistests gibt es im Advanced-Tarif. Shoplift rendert die Testpreise serverseitig und setzt sie bis in den Warenkorb durch. Dazu kommen dort Segmente nach Land und Kampagne, eine GA4-Anbindung und eine JavaScript-API für eigene Tests, zum Beispiel für Versandkostenschwellen, die eine eigene Shopify Function brauchen.

Laut Preisseite kostet Core 99 US-Dollar im Monat bis 50.000 Besucher und Advanced 299 US-Dollar bis 100.000 Besucher, beide mit 14 Tagen Testphase, Stand September 2026. Was Shoplift nicht kann, steht in der eigenen FAQ: keine Tests im Checkout, keine dritte Variante pro Test, kein Headless. Und als Traffic-Richtwert nennt die FAQ mindestens 10.000 Besucher pro Variante und 14 Tage Laufzeit.

4Drei Hypothesen aus einer Testreihe und das passende Werkzeug

Bei einem D2C-Händler mit Geräten und Zubehör liegen für die erste Testreihe drei Hypothesen auf dem Tisch. An ihnen lässt sich die Werkzeugfrage besser erklären als an jeder Tabelle.

Die erste Hypothese betrifft den Aufbau der Produktseite. Heute gibt es ein Vorteilsset, die Variante zeigt stattdessen drei Preisstufen zur Auswahl. Das ist ein neuer Block mit eigener Logik, also Liquid. Rollouts fällt damit raus. Es wird ein Template-Test auf der Produktseite, bewertet mit Conversion Rate und Bestellwert, weil die Stufen den Warenkorb verändern sollen.

Die zweite Hypothese ist ein Upsell im Warenkorb-Drawer: ein Zweitgerät zum Bundle-Preis, direkt im Drawer, bevor der Kunde zum Checkout geht. Auch hier braucht die Variante Code, und die Kennzahl ist der Bestellwert, nicht die Conversion Rate. In Rollouts würde dieser Test aus zwei Gründen nichts zeigen. Er läuft dort als Theme-Test, und das Bordmittel weist bei Experimenten keinen Bestellwert aus.

Die dritte Hypothese dreht sich um die Ads. Sie führen heute auf die Startseite, die Variante ist eine eigene Landingpage. Das ist ein URL-Split-Test. Rollouts kann keine Besucher auf eine andere Adresse leiten. Bei einem kleineren Shop bräuchte es diesen Test eigentlich nicht, weil eine Landingpage gegen die Startseite fast immer gewinnt. Bei diesem Händler geht es aber um den Ads-Traffic für das vierte Quartal, da will ich die Zahl haben.

Rollouts hätte in dieser Reihe an zwei Stellen seinen Platz. Wenn der Händler das Theme wechselt, teste ich das neue gegen das alte als Rollout, weil da ein Theme-Test im Tool nichts besser macht. Und für die Checkout-Einstellungen, also Express-Buttons, Gastbestellung, Reihenfolge der Felder, gibt es ohnehin nur Rollouts.

5Die Entscheidung: Rollouts oder Tool, in einer Tabelle

Hier beides nebeneinander, so wie ich es im Erstgespräch aufmale. Die Angaben zu Rollouts stammen aus der Shopify-Hilfe, die zu Shoplift von der Preisseite und aus der FAQ, jeweils Stand September 2026.

Die Regel, die ich daraus ziehe, passt in zwei Sätze. Rollouts nimmst Du für alles, was ohnehin eine ganze Version ist: Theme-Wechsel, Redesign, Aktions-Theme mit Zeitplan, Checkout-Einstellungen. Ein Tool nimmst Du für alles, was eine Stelle ist: Produktseite, Warenkorb, Bundles, Vertrauenselemente, Preise. Die meisten Hypothesen, die in einem laufenden Shop entstehen, sind Stellen.

6So läuft ein Test sauber, egal mit welchem Werkzeug

Das Werkzeug entscheidet nicht darüber, ob ein Test etwas taugt. Die meisten Tests, die ich in Shops vorfinde, scheitern an denselben Dingen, mit App wie ohne.

• Die Hypothese steht vor dem Test, mit Begründung und der Kennzahl, die sich bewegen soll. „Wenn wir die Lieferzeit neben den Button stellen, steigt die Warenkorb-Rate am Handy, weil die Frage nach der Lieferung heute erst im Checkout beantwortet wird.“
• Eine Änderung pro Test. Wer Button, Bild und Preisdarstellung gleichzeitig ändert, weiß am Ende nicht, was gewirkt hat.
• Zwei volle Wochen Laufzeit, damit Wochentage und Wochenende drin sind, und mindestens die Besucherzahl, die das Tool nennt. Ein Test wird nicht beendet, weil eine Variante nach drei Tagen vorne liegt.
• Während der Laufzeit wird nichts an Kontrolle oder Variante geändert, und es läuft keine Rabattaktion, die nur eine Seite trifft.
• Der Gewinner wird fest ins Theme eingebaut und der Test wird dokumentiert, auch der verlorene. Ein verlorener Test verhindert, dass eine schlechte Idee dauerhaft live geht.

Am Ende bleibt die Frage nach dem Traffic. Mit 10.000 Besuchern pro Variante und zwei Wochen Laufzeit brauchst Du rund 20.000 Besucher im Monat auf den Seiten, die Du testest. Liegst Du darunter, dann testest Du nicht, sondern gehst die offensichtlichen Lücken durch. Das klingt erstmal nach der zweitbesten Lösung, ist bei wenig Traffic aber die schnellere. Wie das aussieht, steht im Beitrag zu den 15 Hebeln nach Aufwand, und ob Du das mit einem Freelancer oder einer Agentur angehst, klärt der Beitrag zur Zusammenarbeit. Ab der Schwelle lohnt sich Testing, und dann meistens beides: Rollouts für die großen Versionen, ein Tool für die Stellen.