Shopify Rollouts: Was die eigenen A/B-Tests können und wo ein Testing-Tool weiter nötig ist

Shopify kann seit Juni 2026 selbst A/B-Tests. Damit stellt sich die Frage, ob ein eigenes Testing-Tool dann überhaupt noch nötig ist. Die kurze Antwort hängt davon ab, was Du testen willst. Für einen Theme-Wechsel oder eine neue Checkout-Konfiguration reicht das Bordmittel. Für die Frage, ob ein Bundle-Block auf der Produktseite mehr verkauft als drei Preisstufen, reicht es nicht.

Die Funktion heißt Rollouts, liegt im Admin unter Märkte, gibt es seit dem 5. Juni 2026 und kostet nichts extra. Ich habe sie für diesen Beitrag anhand der Shopify-Hilfe durchgearbeitet und gegen Shoplift gestellt, das Tool, mit dem ich im Testing-Paket arbeite. Am Ende bekommst Du drei Hypothesen aus einer Testreihe und für jede das Werkzeug, das sie braucht.

Eine Sache vorweg, weil sie für beide Werkzeuge gilt. Ein Test braucht genug Traffic, damit das Ergebnis kein Zufall ist. Unter rund 20.000 Besuchern im Monat dauert ein einzelner Test oft so lange, dass Du in der Zeit besser die 15 Hebel nach Aufwand abarbeitest. Dazu steht unten im Beitrag mehr.

1Was Shopify Rollouts seit Juni 2026 können

Ein Rollout ist bei Shopify ein Paket von Änderungen an Deinem Haupt-Theme, an Deiner Checkout- und Kundenkonto-Konfiguration oder an beidem. Zusätzlich kann ein Rollout Kataloge aktiv oder inaktiv schalten. Shopify unterscheidet dabei drei Arten von Rollouts. Ein Launch übernimmt die Änderung dauerhaft. Ein Event spielt sie für einen festen Zeitraum aus und stellt danach automatisch zurück, zum Beispiel ein Aktions-Theme von Freitag bis Sonntag. Ein Experiment teilt die Besucher in Kontrolle und Variante und vergleicht beide. Rollouts gibt es ab dem Basic-Tarif, Experimente ab Grow (Shopify-Hilfe, Arten von Rollouts).

Seit dem 2. Oktober 2026 kann ein Rollout auch Rabatte enthalten. Du kannst ein neues Angebot erst einem Teil der Besucher zeigen und später ausweiten, einen geänderten Rabatt gegen das bisherige Angebot testen oder einen Rabatt zusammen mit Änderungen an Theme und Checkout live schalten. Wer einen Rabatt nutzen darf, regeln dabei weiter die Bedingungen des Rabatts selbst (Shopify-Changelog). Für Black Friday heißt das, dass Du zwei Rabatthöhen gegeneinander laufen lassen kannst, wenn genug Zeit und Traffic bis zur Aktion bleiben.

Das Prinzip dahinter ist eigentlich einfach. Shopify legt automatisch eine Kopie Deines veröffentlichten Themes oder Deiner Checkout-Konfiguration an. Diese Kopie bearbeitest Du im Theme-Editor wie gewohnt, während das Live-Theme unberührt bleibt. Alternativ tauschst Du das Theme komplett aus, etwa Dawn gegen Horizon. Pro Rollout ist eine Theme-Änderung und eine Checkout-Änderung erlaubt. Beim Austausch des Themes kannst Du zusätzlich Übersetzungen über eine kompatible App mitgeben, damit ein Test pro Markt läuft.

Wie viele Besucher die Variante sehen, stellst Du über die Reichweite ein, dazu wählst Du die Märkte. Ein Besucher landet pro Ressource immer nur in einem Rollout und bleibt dort. Mehrere Experimente auf demselben Theme sind schon möglich, Shopify verteilt den Traffic dann anteilig. Am Ende beendest Du das Experiment und entscheidest: Änderung dauerhaft übernehmen oder zurückrollen. Nach dem Übernehmen gibt es kein Zurück mehr, das steht so in der Hilfe.

Für die Auswertung bekommst Du bei einem Theme-Experiment vier Kennzahlen pro Variante: Conversion Rate im Zeitverlauf, Absprungrate, Warenkorb-Rate und Checkout-Rate. Bei einem Checkout-Experiment gibt es eine einzige, die Checkout-Conversion-Rate. Bei Launches kommen Umsatz, Bestellungen und durchschnittlicher Bestellwert dazu, bei Experimenten nicht (Rollout-Analytics).

Ein Punkt spricht für das Bordmittel. Shoplift kann den Checkout laut eigener FAQ nicht testen. Intelligems testet mit Shopify Plus zwar Preise, Versandkosten und Checkout Blocks im Checkout, den Aufbau des Checkouts aber nicht (Intelligems). Wenn Du wissen willst, ob Gastbestellung oder Konto-Pflicht besser konvertiert, ist Rollouts deshalb der naheliegende Weg, das mit echten Besuchern zu prüfen.

2Wo die Bordmittel aufhören

Rollouts vergleicht Versionen des ganzen Shops, einzelne Stellen kannst Du damit nur eingeschränkt testen. Das ist der Kern des Unterschieds, und daraus ergeben sich fünf Grenzen, die Du kennen solltest, bevor Du Dein Testing-Tool kündigst.

Nur Theme-Editor, kein Liquid

In der Theme-Kopie kannst Du ja alles ändern, was der Theme-Editor hergibt: Einstellungen, Sections, Blöcke, Reihenfolgen, Farben. Was Du nicht kannst, sind Änderungen an Liquid-Templates. Ein neuer Cross-Sell-Block im Warenkorb, eine andere Logik für Bundles, ein Vertrauensbaustein, den Dein Theme nicht mitbringt, all das fällt raus. Vintage-Themes und Headless-Shops gehen gar nicht.

Ganzer Shop statt einer Seite

Du kannst in der Kopie auch nur eine Einstellung ändern, dann ist der Test technisch ein Elementtest. Aber der Test läuft über alle Seiten und die Auswertung zeigt die Conversion Rate des ganzen Shops. Ändert sich nur die Produktseite, verwässert der Traffic auf Startseite, Kollektionen und Blog das Ergebnis. Bei einem Tool testest Du ein Template und bewertest den Traffic, der das Template gesehen hat.

Keine Signifikanz

Die Auswertung zeigt Dir zwei Zahlen nebeneinander und sonst nichts. Ob 2,9 % gegen 2,6 % ein Ergebnis oder Rauschen ist, musst Du selbst rechnen. Bei 1.000 Besuchern pro Variante sind das 29 gegen 26 Bestellungen, und drei Bestellungen Unterschied entscheiden nichts. Ein kostenloser Signifikanzrechner reicht für die Rechnung, aber Du musst eben daran denken, und Du musst Besucher und Bestellungen pro Variante aus dem Bericht ziehen.

Keine Zielgruppen und kein Gerät

Die einzige Steuerung ist der Markt. Nach Gerät, Traffic-Quelle oder Neukunde gegen Bestandskunde kannst Du weder steuern noch auswerten. Im Datensatz von DTC Pages für das zweite Quartal 2026 kommen 86 % der Sitzungen vom Handy. Ein Test, der am Handy gewinnt und am Desktop verliert, sieht in der Summe wie ein Unentschieden aus, und Du erfährst es nicht.

Preise nur über Kataloge und Rabatte, kein Warenkorbwert

Versandkosten sind kein Teil eines Rollouts, und Preise ändert ein Rollout nur über Kataloge, die er aktiv oder inaktiv schaltet. Ob sich ein Katalog mit anderen Preisen auch als Experiment gegen die bisherigen Preise testen lässt, beschreibt die Shopify-Hilfe nicht. Seit Oktober kann ein Rollout zusätzlich einen Rabatt gegen das bisherige Angebot testen, den regulären Preis eines Produkts testest Du damit aber nicht. Und bei Experimenten fehlt der Bestellwert in der Auswertung. Ein Upsell im Warenkorb, der die Conversion Rate nicht bewegt, aber jeden Warenkorb um 15 € erhöht, sieht in Rollouts wie ein Test ohne Ergebnis aus. Dabei kann sich gerade so ein Test schnell rechnen.

3Was ein Testing-Tool anders macht

Ich arbeite mit Shoplift, weil es Varianten dort baut, wo ich sie ohnehin baue: im Theme. Viele andere Tools, etwa VWO, legen ein Skript über die Seite und tauschen Elemente im Browser aus. Das geht auf jeder Plattform und ohne Eingriff ins Theme, kann aber kurz flackern und Ladezeit kosten (VWO-Hilfe). Nach einem Theme-Update solltest Du solche Varianten außerdem prüfen, weil sich der Aufbau der Seite geändert haben kann. Shoplift dupliziert ein Template oder ein Theme in Shopify selbst, Du bearbeitest die Variante im normalen Theme-Editor, auch mit eigenem Liquid, und der Besucher bekommt von Anfang an die richtige Fassung ausgeliefert.

Daraus ergeben sich bei Shoplift drei Testarten. Der Template-Test nimmt eine Produktseite, eine Kollektion, die Startseite oder eine Landingpage und vergleicht zwei Fassungen genau dieser Seite, ausgewertet nur mit dem Traffic, der sie gesehen hat. Der Theme-Test vergleicht zwei Themes und deckt Navigation, Warenkorb-Drawer, Ankündigungsleiste und Redesigns ab. Der URL-Split-Test schickt Besucher auf zwei verschiedene Adressen, etwa Startseite gegen Landingpage.

Die Auswertung rechnet mit, wann ein Ergebnis belastbar ist, und ordnet Bestellungen den Varianten eins zu eins zu. Du siehst Conversion Rate, Bestellwert und Umsatz pro Besucher, getrennt nach Gerät. Shoplift empfiehlt, einen Test erst zu beenden, wenn die Signifikanz erreicht ist, auch wenn eine Variante früh vorne liegt. Als Schwelle nannte mir Shoplift im Partnergespräch rund 93 % für Text- und Layouttests und 95 % oder mehr für Preistests.

Preistests gibt es bei Shoplift im Advanced-Tarif. Shoplift rendert die Testpreise serverseitig und setzt sie bis in den Warenkorb durch. Dazu kommen dort Segmente nach Land und Kampagne, eine GA4-Anbindung und eine JavaScript-API für eigene Tests, zum Beispiel für Versandkostenschwellen, die eine eigene Shopify Function brauchen.

Laut Preisseite kostet Core 99 US-Dollar im Monat bis 50.000 Besucher und Advanced 299 US-Dollar bis 100.000 Besucher, beide mit 14 Tagen Testphase, Stand September 2026. Was Shoplift nicht kann, steht in der eigenen FAQ: keine Tests im Checkout, keine dritte Variante pro Test, kein Headless. Und als Traffic-Richtwert nennt die FAQ mindestens 10.000 Besucher pro Variante und 14 Tage Laufzeit.

4Drei Hypothesen aus einer Testreihe und das passende Werkzeug

Bei einem D2C-Händler mit Geräten und Zubehör liegen für die erste Testreihe drei Hypothesen auf dem Tisch. An ihnen lässt sich die Werkzeugfrage besser erklären als an jeder Tabelle.

Die erste Hypothese betrifft den Aufbau der Produktseite. Heute gibt es ein Vorteilsset, die Variante zeigt stattdessen drei Preisstufen zur Auswahl. Das ist ein neuer Block mit eigener Logik, also Liquid. Rollouts fällt damit raus. Es wird ein Template-Test auf der Produktseite, bewertet mit Conversion Rate und Bestellwert, weil die Stufen den Warenkorb verändern sollen.

Die zweite Hypothese ist ein Upsell im Warenkorb-Drawer: ein Zweitgerät zum Bundle-Preis, direkt im Drawer, bevor der Kunde zum Checkout geht. Auch hier braucht die Variante Code, und die Kennzahl ist der Bestellwert, nicht die Conversion Rate. In Rollouts würde dieser Test aus zwei Gründen nichts zeigen. Er läuft dort als Theme-Test, und das Bordmittel weist bei Experimenten keinen Bestellwert aus.

Die dritte Hypothese dreht sich um die Ads. Sie führen heute auf die Startseite, die Variante ist eine eigene Landingpage. Das ist ein URL-Split-Test. Rollouts kann keine Besucher auf eine andere Adresse leiten. Bei einem kleineren Shop würde ich die Landingpage wahrscheinlich ohne Test bauen, weil der Traffic für einen sauberen Test nicht reicht. Bei diesem Händler geht es aber um den Ads-Traffic für das vierte Quartal, da will ich die Zahl haben.

Rollouts hätte in dieser Reihe an zwei Stellen seinen Platz. Wenn der Händler das Theme wechselt, teste ich das neue gegen das alte als Rollout, weil da ein Theme-Test im Tool nichts besser macht. Und für die Checkout-Einstellungen, etwa Gastbestellung oder Kundenkonten, ist Rollouts der naheliegende Weg.

5Die Entscheidung: Rollouts oder Tool, in einer Tabelle

Hier beides nebeneinander, so wie ich es im Erstgespräch aufmale. Die Angaben zu Rollouts stammen aus der Shopify-Hilfe, die zu Shoplift von der Preisseite und aus der FAQ, jeweils Stand September 2026.

Meine Faustregel daraus passt in zwei Sätze. Rollouts eignet sich für alles, was ohnehin eine ganze Version ist, also Theme-Wechsel, Redesign, Aktions-Theme mit Zeitplan und Checkout-Einstellungen. Ein Tool eignet sich für alles, was eine Stelle ist, also Produktseite, Warenkorb, Bundles, Vertrauenselemente und Preise. In meinen Projekten betrafen die meisten Hypothesen solche einzelnen Stellen.

6So läuft ein Test sauber, egal mit welchem Werkzeug

Das Werkzeug entscheidet nicht darüber, ob ein Test etwas taugt. Ein paar Grundregeln gelten für jedes Werkzeug, mit App wie ohne.

• Die Hypothese steht vor dem Test, mit Begründung und der Kennzahl, die sich bewegen soll. „Wenn wir die Lieferzeit neben den Button stellen, steigt die Warenkorb-Rate am Handy, weil die Frage nach der Lieferung heute erst im Checkout beantwortet wird.“
• Eine Änderung pro Test. Wer Button, Bild und Preisdarstellung gleichzeitig ändert, weiß am Ende nicht, was gewirkt hat.
• Zwei volle Wochen Laufzeit, damit Wochentage und Wochenende drin sind, und mindestens die Besucherzahl, die das Tool nennt. Ein Test wird nicht beendet, weil eine Variante nach drei Tagen vorne liegt.
• Während der Laufzeit wird nichts an Kontrolle oder Variante geändert, und es läuft keine Rabattaktion, die nur eine Seite trifft.
• Der Gewinner wird fest ins Theme eingebaut und der Test wird dokumentiert, auch der verlorene. Ein verlorener Test verhindert, dass eine schlechte Idee dauerhaft live geht.

Am Ende bleibt die Frage nach dem Traffic. Mit 10.000 Besuchern pro Variante brauchst Du rund 20.000 Besucher auf den Seiten, die Du testest. Bei 20.000 Besuchern im Monat dauert ein Test damit etwa einen Monat, bei weniger entsprechend länger. Wie viele Besucher Dein Test genau braucht, hängt von Deiner Ausgangsrate und vom Unterschied ab, den Du messen willst. Liegst Du deutlich darunter, gehst Du besser zuerst die offensichtlichen Lücken durch. Das klingt erstmal nach der zweitbesten Lösung, ist bei wenig Traffic aber oft die schnellere. Wie das aussieht, steht im Beitrag zu den 15 Hebeln nach Aufwand, und ob Du das mit einem Freelancer oder einer Agentur angehst, klärt der Beitrag zur Zusammenarbeit. Ab dieser Größenordnung kann sich Testing lohnen, und dann oft mit beidem, Rollouts für die großen Versionen und ein Tool für die Stellen.