Shopware Crawl Budget optimieren: Filter-URLs im Griff und mehr Sichtbarkeit bei Google

Ihr Shop hat 20.000 Produkte, aber Google kennt 800.000 URLs davon? Dann verbrennt Ihre facettierte Navigation gerade Ihr Crawl Budget. Jeder Filter für Farbe, Größe, Marke oder Preis erzeugt neue URL-Kombinationen – und der Googlebot crawlt sie alle, statt Ihre Kategorien und Produktseiten aktuell zu halten. Die Folge sehen wir in der Google Search Console vieler Shops: Tausende Seiten mit dem Status „Entdeckt – zurzeit nicht indexiert“, während wichtige Produktseiten tagelang auf ihren Recrawl warten. Wir zeigen Ihnen, wie Sie das Crawl Budget Ihres Shopware-Shops gezielt steuern.

Warum das Crawl Budget über Ihre Sichtbarkeit entscheidet

Google investiert pro Domain nur eine begrenzte Menge an Crawling-Ressourcen – das ist Ihr Crawl Budget. Laut Google-Dokumentation wird es vor allem für große Sites ab etwa einer Million URLs kritisch, aber auch für mittlere Shops ab 10.000 URLs, deren Inhalte sich häufig ändern. Genau das trifft auf die meisten ambitionierten Onlineshops zu: Preise, Verfügbarkeiten und Sortimente ändern sich täglich.

Wird das Budget von irrelevanten URLs aufgefressen, crawlt Google Ihre umsatzrelevanten Seiten seltener. Neue Produkte erscheinen verzögert im Index, Preisänderungen kommen zu spät bei Google an, und im schlimmsten Fall ranken veraltete Inhalte. Für B2B-Shops mit großen Katalogen und vielen Varianten ist das kein SEO-Detail, sondern ein Umsatzthema – gerade jetzt, wo auch KI-Suchsysteme aktuelle, saubere Indexdaten voraussetzen.

Wichtig zu verstehen: Das Crawl Budget setzt sich aus zwei Faktoren zusammen. Die Crawl-Kapazität bestimmt, wie viele Anfragen Google Ihrem Server zumutet, ohne ihn zu überlasten – sie hängt direkt von Ihrer Serverleistung und Antwortzeit ab. Der Crawl-Bedarf bemisst, wie interessant Google Ihre Inhalte findet: Popularität, Aktualität und Einzigartigkeit zählen. An beiden Stellschrauben können Sie drehen. Ein schneller Shop mit klarer URL-Struktur bekommt messbar mehr Crawling als ein langsamer Shop mit Millionen Duplikaten.

Facettierte Navigation: der größte Budget-Fresser

Das Rechenbeispiel ist ernüchternd: Eine einzige Kategorie mit drei Farboptionen, vier Größen, fünf Marken und zwei Preisstufen erzeugt bereits 120 mögliche Filterkombinationen. Ein Shop mit 50.000 Produkten und fünf Filterdimensionen kommt rechnerisch auf Millionen von URL-Varianten – fast alle ohne eigenen Mehrwert für die Suche.

Der praktikabelste Ansatz ist eine Dreiteilung Ihrer Filterseiten. Erstens: Kombinationen mit echter Suchnachfrage – etwa „Arbeitshandschuhe Leder“ – verdienen eine indexierbare Landingpage mit eigenem Title, eigener Beschreibung und idealerweise redaktionellem Inhalt. Zweitens: Filterseiten ohne Suchnachfrage, aber mit Nutzwert, sollten crawlbar bleiben, aber per noindex aus dem Index gehalten werden. Drittens: Mehrfachkombinationen und Sortierparameter sollten gar nicht erst gecrawlt werden. Diese Priorisierung gehört in jedes SEO-Konzept, das eine erfahrene Shopware Agentur für Sie erstellt.

robots.txt, noindex, Canonical: Was wirklich Crawl Budget spart

Hier steckt der häufigste Irrtum, den wir in Audits sehen: noindex spart kein Crawl Budget. Damit Google die Anweisung überhaupt sieht, muss die Seite gecrawlt werden – das Budget ist dann bereits verbraucht. Dasselbe gilt für Canonical-Tags: Sie konsolidieren Rankingsignale, verhindern aber kein Crawling.

Wer Crawling wirklich unterbinden will, braucht die robots.txt. Sperren Sie dort Sortier- und Session-Parameter sowie Filterkombinationen ab einer definierten Tiefe. Achten Sie zusätzlich auf konsistente Parameter-Reihenfolgen, damit identische Filterzustände nicht unter mehreren URLs erreichbar sind, und liefern Sie für leere Filterergebnisse einen 404 statt einer Weiterleitung. Und prüfen Sie Ihre interne Verlinkung: Jeder Link auf eine gesperrte oder wertlose URL lädt den Googlebot erneut ein.

Die drei Instrumente im Überblick:

• robots.txt – verhindert das Crawling. Das einzige Werkzeug, das tatsächlich Crawl Budget spart. Aber Vorsicht: Bereits indexierte URLs verschwinden dadurch nicht aus dem Index.

• noindex – verhindert die Indexierung, nicht das Crawling. Richtig für Filterseiten, die Nutzern helfen, aber in der Suche nichts verloren haben.

• Canonical-Tag – konsolidiert Rankingsignale auf die Hauptvariante. Ein Hinweis an Google, keine Garantie – und ebenfalls kein Crawling-Stopp.

Wer diese drei Mechanismen verwechselt, erzeugt schnell das Gegenteil des gewünschten Effekts: etwa indexierte, aber nie wieder gecrawlte Zombie-URLs, deren Snippets in der Suche veralten.

So setzen Sie die Steuerung in Shopware um

Shopware 6 bringt solide Grundlagen mit: saubere SEO-URLs, Canonical-Tags und ein robustes Kategoriesystem. Die Filter-URLs der Storefront entstehen jedoch als Parameter-URLs, und welche Kombinationen crawlbar, indexierbar oder gesperrt sein sollen, entscheidet Shopware nicht für Sie. Genau hier setzt eine durchdachte Shopware Architektur an: Meta-Robots-Steuerung nach Filtertiefe, dynamische Canonicals, kuratierte Filter-Landingpages für nachfragestarke Kombinationen und eine robots.txt, die zum Shop-Setup passt.

Messbar wird der Erfolg in der Google Search Console: Sinkt die Zahl der Seiten unter „Entdeckt – zurzeit nicht indexiert“, während die Indexabdeckung Ihrer Kategorien und Produkte steigt, arbeitet Ihr Crawl Budget wieder für Sie. In den Crawling-Statistiken sehen Sie zudem, ob der Googlebot seine Zugriffe auf die richtigen Bereiche verteilt – ein Blick in die Server-Logfiles zeigt Ihnen sogar URL-genau, wohin jedes einzelne Prozent Ihres Budgets fließt. Als spezialisierte E-Commerce Agentur kombinieren wir diese technische SEO-Arbeit mit Performance-Optimierung – denn schnelle Antwortzeiten erhöhen nachweislich das Crawl-Limit, das Google Ihrer Domain zugesteht.

Lassen Sie Ihren Umsatz nicht von veralteten Strukturen ausbremsen. Sprechen Sie mit den Experten von enno.dev, Ihrer spezialisierten Shopware Agentur Köln – wir analysieren Ihre Indexierung und zeigen Ihnen, wo der größte Hebel liegt.